Azure Synapse Analytics (Data Factory): セルフホステッド統合ランタイムでプライベートネットワーク内のデータを抽出する

はじめに

Azure Synapse Analytics、もしくは Data Factory でオンプレミスや Azure 仮想ネットワーク (VNet) 内のデータソースにアクセスする場合に必要なセルフホステッド統合ランタイム (セルフホステッド IR) の構成方法の説明となります。

検証には、Synapse Analytics を使用していますが、Data Factory の場合もほぼ同じ手順となります。

実装内容

プライベートネットワーク上にある DB サーバからデータを抽出し、Azure Data Lake Storage Gen2 (ADLS Gen2) に Parquet 形式で書き出す想定での実装を行います。
検証環境では、以下の構成図の通り、セルフホステッド IR の稼働ホストとして Azure 仮想マシン (VM) を使用し、オンプレミスと閉域接続している想定で別 VNet 上の MySQL サーバに仮想ネットワークピアリングで接続しています。
簡単に検証をするのであれば、セルフホステッドIRと同一の VNet 内に適当な RDB の VM を作成すれば問題ありません。
image.png
なお、本記事はセルフホステッド IR の構成、設定がメインとなるため、Synapse Analytics、ADLS Gen 2といった、セルフホステッド IR 以外のリソースがすべて作成済みであることを前提とします。
セルフホステッド IR 用 VM、およびネットワークについては以下の条件にて作成したものを使用します。

ネットワーク

以下内容で作成した VNet、Subnetを使用しています。

項目 設定値
VNet 192.168.8.0/22
Subnet 192.168.8.0/26

Subnet には以下の Network Security Group (NSG) を適用しています。
セルフホステッド IR の詳細なネットワーク要件は、こちら を確認してください。

  • Inbound Security Rules
Priority Name Port Protocol Source Destination Action
100 Allow_RDP 3389 TCP {My IP} Any Allow
65000 AllowVnetInBound Any Any VirtualNetwork VirtualNetwork Allow
65001 AllowAzureLoadBalancerInBound Any Any AzureLoadBalancer Any Allow
65500 DenyAllInBound Any Any Any Any Deny
  • Outbound Security Rules
Priority Name Port Protocol Source Destination Action
65000 AllowVnetOutBound Any Any VirtualNetwork VirtualNetwork Allow
65001 AllowInternetOutBound Any Any Any Internet Allow
65500 DenyAllOutBound Any Any Any Any Deny

Azure VM

セルフホステッド IR の最小要件を満たす構成にてVMを作成しています。
以下の要件以外は作成環境に応じて適宜変更してください。

項目 設定値 インストール要件
イメージ Windows Server 2019 Datacenter - Gen1 以下のうちいずれかのOS

  • Windows 8.1
  • Windows 10
  • Windows Server 2012
  • Windows Server 2012 R2
  • Windows Server 2016
  • Windows Server 2019
サイズ Standard F4s v2 (4 vcpu, 8 GiB RAM) 4 Core 2 GHz CPU, 8 GB RAM 以上

セルフホステッド IR の登録

はじめに、Synapse Studio にセルフホステッド IR を登録し、統合ランタイムをホストマシンにインストールするための情報を生成します。

Synapse Studio を開き、ページ左の「管理」をクリックします。
image.png
メニューから「統合ランタイム」を選択し、「+新規」をクリックします。
image.png
「統合ランタイムのセットアップ」のランチャーで「セルフホステッド」を選択して「続行」をクリックし、「名前」に統合ランタイム環境を識別する一意の名前を入力し、「作成」をクリックします。
image.png
作成後に表示される「オプション 2: 手動セットアップ」に従い、「統合ランタイムのダウンロードとインストール」のリンク先から統合ランタイムインストーラをローカルPCにダウンロードし、「認証キー」のいずれかをコピーして控えておきます。
image.png

統合ランタイムのインストール

統合ランタイムをインストールする Azure VM に RDP でログインします。
image.png
ローカルPCにダウンロードしておいた統合ランタイムインストーラを RDP 経由でリモートサーバに配置します。
ローカルPC上のファイルをコピーし、リモートサーバのデスクトップに貼り付けます。
image.png
インストーラを起動して、統合ランタイムのインストールを進めます。
image.png
インストールが完了すると、以下のようなウィンドウが開きます。
テキストボックスに Synapse Studio のセルホステッドIR 登録時に控えておいた認証キーを入力し、登録をクリックします。
image.png
「Integration Runtime (Self-hosted) ノード名」を任意の名称に変更し、「完了」をクリックします。
image.png

正常に登録されたら、「構成マネージャーの起動」をクリックして完了させます。
image.png
image.png

Synapse Studioの「統合ランタイム」で登録したセルフホステッドIRを開き、「ノード」タブをクリックすると登録されたセルフホステッド IR ノードを確認できます。
image.png

Java Runtime のインストール

セルフホステッド IR で Parquet 等の特定形式のデータを扱う場合は、ホストマシンに Java Runtime をインストールしておく必要があります。
Java Runtime としては、JRE、もしくは OpenJDK を使用することができますが、ここでは OpenJDK を使用します。

OpenJDK を使用する場合は、任意のビルドの「OpenJDK 8」と「Microsoft Visual C++ 2010 再頒布可能パッケージ」をホストマシンにインストールします。
使用したものは以下の通りです。

統合ランタイムインストーラと同様にそれぞれのインストーラをリモートサーバに配置し、デフォルト設定のままインストールを進めます。
インストールが終わったら、OpenJDK インストール先フォルダ内の jre フォルダパスをシステム環境変数「JAVA_HOME」として追加します。
image.png

リンクサービスの登録

セルフホステッド IR で接続するプライベートネットワーク内の DB サーバをリンクサービスとして登録します。
ここでは MySQL サーバを使用しますが、接続先に応じて適宜設定内容を変更してください。
Synapse Studio の「管理」から「リンクサービス」を選択し、「+新規」をクリックします。
image.png
データストアの選択から「MySQL」を選択して「続行」をクリックし、フォームにDBの接続情報を入力します。
「統合ランタイム経由で接続」は作成したセルフホステッドIRを指定します。
入力が完了したら、「テスト接続」をクリックして接続できることを確認し、「作成」をクリックします。
image.png

セルフホステッドIRのテスト

セルフホステッドIRのテストとして MySQL サーバからデータを抽出し、Synapse Analytics の Primary ファイルシステムに Parquet ファイルとして出力します。
MySQL サーバには以下のようなテスト用テーブルを作成しています。
image.png
まず、ソース、シンクとなるデータセットを登録します。
「データ」を開き、+ボタンから「統合データセット」を選択します。
image.png
データストアの選択から「MySQL」を選択し、登録した MySQL サーバのリンクサービスとデータを取得するテーブル名を設定します。
image.png
シンク先となる Parquet ファイルの書き出し用統合データセットも同様に作成します。
データストアの選択から「Azure Data Lake Storage Gen2」を選択し、形式の選択で「Parquet」を選択します。
リンクサービスとして Synapse Analytics 作成時にデフォルトで作成されているストレージを選択し、「ファイルパス」の「ファイルシステム」に Synapse Analytics の Primary ファイルシステム名、「ディレクトリ」、「ファイル」に任意のパスを入力します。
image.png
データを MySQL サーバから抽出し、Parquet ファイルとして出力するパイプラインのを作成します。
「統合」に移動し、+ボタンから「パイプライン」を選択します。
image.png
キャンバスに「データのコピー」をドラッグ&ドロップして配置し、アクティビティの「ソース」、「シンク」に上記で作成した MySQL および Parquet の統合データセットを割り当てます。
image.png
「デバッグ」をクリックしてパイプラインのデバッグを開始し、アクティビティが成功することを確認します。
image.png
デバッグに成功すると、Synapse Analytics の Primary ファイルシステムに Parquet ファイルが出力されます。
「データ」の「リンク済み」から Primary ファイルシステムを開くと出力された Parquet ファイルを確認できます。
image.png
作成された Parquet ファイルを Notebook (PySpark) で確認すると DB の内容を取得できていることが確認できました。
image.png

参考

by azure-recipe-user

Azure DatabricksでMNISTやーる

はじめに

MNISTやっていきます

開発環境

image.png

mnist-tensorflow-keras

1．こちらのノートブックをやっていきます
https://docs.databricks.com/_static/notebooks/deep-learning/mnist-tensorflow-keras.html

2．ライブラリをインストール

[crayon-62862cf9639d8241680089/]

3．関数を定義

[crayon-62862cf9639e1180763068/]
[crayon-62862cf9639e4797066526/]
[crayon-62862cf9639e7348144052/]

4．学習

[crayon-62862cf9639e9063983950/]
[crayon-62862cf9639eb063470779/]

5．モデル評価

[crayon-62862cf9639ed976671310/]
[crayon-62862cf9639ef659019938/]

6．HorovodRunnerを用いた学習

[crayon-62862cf9639f1110290025/]
[crayon-62862cf9639f3997734467/]

sparkdlをインストール

[crayon-62862cf9639f6397311266/]
[crayon-62862cf9639f8454775796/]

エラー

[crayon-62862cf9639fa822110091/]

お疲れ様でした。

mnist-pytorch

mnist-pytorch - Databricks

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

Azure Databricksでpetastormやーる

はじめに

petastormやっていきまーす

開発環境

image.png

Spark から TensorFlow へのデータ変換を簡略化する

1．こちらのノートブックをやっていきます
https://docs.microsoft.com/ja-jp/azure/databricks/_static/notebooks/deep-learning/petastorm-spark-converter-tensorflow.html

2．ライブラリをインストール

[crayon-62862cf964580263615133/]

3．ライブラリをインポート

[crayon-62862cf964587902940901/]

エラー出た

[crayon-62862cf964589539917365/]

Spark から PyTorch ノートブックへのデータ変換を簡略化する

1．こちらのノートブックをやっていきます
https://docs.microsoft.com/ja-jp/azure/databricks/_static/notebooks/deep-learning/petastorm-spark-converter-pytorch.html

2．ライブラリをインストール

[crayon-62862cf96458b803325440/]

3．ライブラリをインポート

[crayon-62862cf96458d964949852/]

エラー出た

[crayon-62862cf96458f714102602/]

Spark と Petastorm を使用してディープ ラーニング ノートブック用のデータを準備する

1．こちらのノートブックをやっていきます

petastorm - Databricks

2．ライブラリをインストール

[crayon-62862cf964591099046708/]

3．ライブラリをインポート

[crayon-62862cf964593566835733/]

3．ディレクトリを作成

[crayon-62862cf964595156250762/]

4．データセット（mnist）をダウンロード

[crayon-62862cf964597468904659/]
[crayon-62862cf964599989461191/]

5．データセットの読み込み

[crayon-62862cf96459b696656517/]

6．データを配列に格納

[crayon-62862cf96459c337490822/]
[crayon-62862cf96459e175261723/]

7．Parquet形式へ変換

[crayon-62862cf9645a1578041826/]

8．ライブラリをインポート

[crayon-62862cf9645a3061067049/]

9．モデルの定義

[crayon-62862cf9645a4350565060/]

10．parquet形式のデータのパスを定義

[crayon-62862cf9645a6417784678/]

11．Parquet形式のデータをmake_batch_readerで読み取り、学習

[crayon-62862cf9645a8080545167/]
[crayon-62862cf9645aa566225714/]

12．ディレクトリの削除

[crayon-62862cf9645ac689644062/]

13．ディレクトリが残っていた場合の確認

[crayon-62862cf9645ae792606641/]
[crayon-62862cf9645b0491825162/]

14．uuidを指定して削除

[crayon-62862cf9645b1219040546/]

参考文献

Petastorm を使用してデータを読み込む - Azure Databricks

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

Beginning Apache Spark using Azure Databricksやーる

はじめに

Beginning Apache Spark using Azure Databricksやっていきます

開発環境

image.png

Chapter 5: Getting Data into Databricks

[crayon-62862cf96501f712174055/]
[crayon-62862cf965025376284875/]
[crayon-62862cf965027399668168/]
[crayon-62862cf965029155216248/]
[crayon-62862cf96502b034187872/]
[crayon-62862cf96502d307864811/]
[crayon-62862cf96502e137938177/]
[crayon-62862cf965030376659104/]
[crayon-62862cf965032537207439/]
[crayon-62862cf965034246540899/]
[crayon-62862cf965035301158064/]
[crayon-62862cf965037600379617/]
[crayon-62862cf965039304755881/]
[crayon-62862cf96503b215456299/]
[crayon-62862cf96503d974565144/]
[crayon-62862cf96503e376097542/]
[crayon-62862cf965040480721768/]
[crayon-62862cf965042530783522/]
[crayon-62862cf965044494255750/]
[crayon-62862cf965046036472587/]
[crayon-62862cf965047166497591/]
[crayon-62862cf965049155865862/]
[crayon-62862cf96504b325115481/]
[crayon-62862cf96504c627612937/]
[crayon-62862cf96504e607451166/]
[crayon-62862cf965050570305076/]
[crayon-62862cf965052672411100/]
[crayon-62862cf965053736479427/]
[crayon-62862cf965055309560747/]
[crayon-62862cf965057214056071/]
[crayon-62862cf965058587521642/]
[crayon-62862cf96505a703087956/]
[crayon-62862cf96505c643081838/]
[crayon-62862cf96505d324660765/]
[crayon-62862cf96505f272430101/]
[crayon-62862cf965061269843752/]
[crayon-62862cf965062686159366/]
[crayon-62862cf965064050601696/]
[crayon-62862cf965066294261889/]
[crayon-62862cf965068979757650/]
[crayon-62862cf965069168424724/]
[crayon-62862cf96506b851987869/]
[crayon-62862cf96506d781503168/]
[crayon-62862cf96506f576580308/]
[crayon-62862cf965070044270342/]

OK

[crayon-62862cf965072827130825/]
[crayon-62862cf965074966341466/]

S3のマウント

Blobのマウント

Chapter 6: Querying Data Using SQL

Chapter 7: The Power of Python

Chapter 8: ETL and Advanced Data Wrangling

Chapter 9: Connecting to and from Databricks

Chapter 10: Running in Production

Chapter 11: Bits and Pieces

 

 

 

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

Distributed Data Systems with Azure Databricksやーる

はじめに

Distributed Data Systems with Azure Databricksやっていきます

GitHub - PacktPublishing/Distributed-Data-Systems-with-Azure-Databrick...

開発環境

image.png

Chapter06.ipynb

[crayon-62862cf965cf8954527327/]
[crayon-62862cf965cfe717508749/]
[crayon-62862cf965d00194845825/]
[crayon-62862cf965d02394678369/]
[crayon-62862cf965d04062730518/]
[crayon-62862cf965d06162257192/]
[crayon-62862cf965d07696786518/]
[crayon-62862cf965d0a684881920/]
[crayon-62862cf965d0b193165934/]
[crayon-62862cf965d0d580754890/]
[crayon-62862cf965d0f685266796/]
[crayon-62862cf965d11891517629/]
[crayon-62862cf965d12850302206/]

newplot.png

[crayon-62862cf965d14561874439/]
[crayon-62862cf965d16281836514/]

newplot (1).png

[crayon-62862cf965d18641489302/]
[crayon-62862cf965d1a300248013/]
[crayon-62862cf965d1c033765480/]
[crayon-62862cf965d1e019044329/]
[crayon-62862cf965d1f178898799/]
[crayon-62862cf965d21529098064/]

Chapter07.ipynb

[crayon-62862cf965d23863296951/]
[crayon-62862cf965d24380804041/]
[crayon-62862cf965d26596818846/]
[crayon-62862cf965d28546723761/]
[crayon-62862cf965d2a737290725/]
[crayon-62862cf965d2b802343961/]
[crayon-62862cf965d2d111731591/]
[crayon-62862cf965d32929788574/]
[crayon-62862cf965d33568628180/]
[crayon-62862cf965d35313077803/]
[crayon-62862cf965d37709028435/]
[crayon-62862cf965d39172803897/]
[crayon-62862cf965d3a603330141/]
[crayon-62862cf965d3c154268338/]
[crayon-62862cf965d3e396333192/]
[crayon-62862cf965d40205064239/]
[crayon-62862cf965d42270319742/]
[crayon-62862cf965d43041442272/]
[crayon-62862cf965d45187271181/]
[crayon-62862cf965d47721898210/]
[crayon-62862cf965d48077047232/]
[crayon-62862cf965d65694964699/]
[crayon-62862cf965d69105428931/]
[crayon-62862cf965d6b258112222/]
[crayon-62862cf965d6e563870785/]
[crayon-62862cf965d71530658288/]
[crayon-62862cf965d74011207259/]
[crayon-62862cf965d77923290266/]
[crayon-62862cf965d7a907271910/]
[crayon-62862cf965d7d088248318/]
[crayon-62862cf965d80061013598/]
[crayon-62862cf965d83034877295/]
[crayon-62862cf965d86696837990/]
[crayon-62862cf965d89463642479/]
[crayon-62862cf965d8b065357317/]
[crayon-62862cf965d8d137653353/]
[crayon-62862cf965d8f369328331/]
[crayon-62862cf965d91130679024/]
[crayon-62862cf965d92479623610/]
[crayon-62862cf965d94564043959/]
[crayon-62862cf965d96376327001/]
[crayon-62862cf965d97470840205/]
[crayon-62862cf965d99350702932/]
[crayon-62862cf965d9b482049627/]

image.png

[crayon-62862cf965d9d103690521/]

image.png

[crayon-62862cf965d9f153624553/]

image.png

[crayon-62862cf965da2303732413/]
[crayon-62862cf965da4597947680/]
[crayon-62862cf965da5482390005/]
[crayon-62862cf965da7534985856/]
[crayon-62862cf965da9248177275/]
[crayon-62862cf965daa690320017/]

image.png

[crayon-62862cf965dad685615716/]

image.png

[crayon-62862cf965daf439321926/]

image.png

[crayon-62862cf965db2202628833/]
[crayon-62862cf965db4341857933/]

image.png

[crayon-62862cf965db6792269704/]
[crayon-62862cf965db8057462216/]

image.png

[crayon-62862cf965dbb576713275/]

image.png

[crayon-62862cf965dbd430005387/]

image.png

[crayon-62862cf965dbf063459726/]
[crayon-62862cf965dc2193977688/]

newplot (2).png

[crayon-62862cf965dc4877366283/]

newplot (3).png

[crayon-62862cf965dc7533642828/]

image.png

[crayon-62862cf965dc9647377382/]
[crayon-62862cf965dcc841776945/]
[crayon-62862cf965dcd066990358/]
[crayon-62862cf965dcf381150058/]

image.png

[crayon-62862cf965dd1940152591/]
[crayon-62862cf965dd3286586155/]

image.png

[crayon-62862cf965dd5884232792/]
[crayon-62862cf965dd8395594844/]
[crayon-62862cf965dd9696995344/]
[crayon-62862cf965ddb790512231/]
[crayon-62862cf965ddd420441037/]
[crayon-62862cf965ddf593761158/]
[crayon-62862cf965de1617464392/]
[crayon-62862cf965de3216032957/]

bokeh_plot.png

[crayon-62862cf965de5334088425/]

image.png

[crayon-62862cf965de7230421996/]
[crayon-62862cf965dea355169736/]

newplot (4).png

Chapter08.ipynb

Chapter09.ipynb

Chapter10.ipynb

Chapter11.ipynb

Chapter12.ipynb

 

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

Azure Databricksのデータセット

Databricks のデータセットを参照する

[crayon-62862cf967058828595421/]

Azure Databricks のデータセット一覧 [2022/04/23]

path name size modificationTime
dbfs:/databricks-datasets/COVID/ COVID/ 0 1650681887776
dbfs:/databricks-datasets/README.md README.md 976 1532468253000
dbfs:/databricks-datasets/Rdatasets/ Rdatasets/ 0 1650681887776
dbfs:/databricks-datasets/SPARK_README.md SPARK_README.md 3359 1455043490000
dbfs:/databricks-datasets/adult/ adult/ 0 1650681887776
dbfs:/databricks-datasets/airlines/ airlines/ 0 1650681887776
dbfs:/databricks-datasets/amazon/ amazon/ 0 1650681887776
dbfs:/databricks-datasets/asa/ asa/ 0 1650681887776
dbfs:/databricks-datasets/atlas_higgs/ atlas_higgs/ 0 1650681887776
dbfs:/databricks-datasets/bikeSharing/ bikeSharing/ 0 1650681887776
dbfs:/databricks-datasets/cctvVideos/ cctvVideos/ 0 1650681887776
dbfs:/databricks-datasets/credit-card-fraud/ credit-card-fraud/ 0 1650681887776
dbfs:/databricks-datasets/cs100/ cs100/ 0 1650681887776
dbfs:/databricks-datasets/cs110x/ cs110x/ 0 1650681887776
dbfs:/databricks-datasets/cs190/ cs190/ 0 1650681887776
dbfs:/databricks-datasets/data.gov/ data.gov/ 0 1650681887776
dbfs:/databricks-datasets/definitive-guide/ definitive-guide/ 0 1650681887776
dbfs:/databricks-datasets/delta-sharing/ delta-sharing/ 0 1650681887776
dbfs:/databricks-datasets/flights/ flights/ 0 1650681887776
dbfs:/databricks-datasets/flower_photos/ flower_photos/ 0 1650681887776
dbfs:/databricks-datasets/flowers/ flowers/ 0 1650681887776
dbfs:/databricks-datasets/genomics/ genomics/ 0 1650681887776
dbfs:/databricks-datasets/hail/ hail/ 0 1650681887776
dbfs:/databricks-datasets/identifying-campaign-effectiveness/ identifying-campaign-effectiveness/ 0 1650681887776
dbfs:/databricks-datasets/iot/ iot/ 0 1650681887776
dbfs:/databricks-datasets/iot-stream/ iot-stream/ 0 1650681887776
dbfs:/databricks-datasets/learning-spark/ learning-spark/ 0 1650681887776
dbfs:/databricks-datasets/learning-spark-v2/ learning-spark-v2/ 0 1650681887776
dbfs:/databricks-datasets/lending-club-loan-stats/ lending-club-loan-stats/ 0 1650681887776
dbfs:/databricks-datasets/med-images/ med-images/ 0 1650681887776
dbfs:/databricks-datasets/media/ media/ 0 1650681887776
dbfs:/databricks-datasets/mnist-digits/ mnist-digits/ 0 1650681887776
dbfs:/databricks-datasets/news20.binary/ news20.binary/ 0 1650681887776
dbfs:/databricks-datasets/nyctaxi/ nyctaxi/ 0 1650681887776
dbfs:/databricks-datasets/nyctaxi-with-zipcodes/ nyctaxi-with-zipcodes/ 0 1650681887776
dbfs:/databricks-datasets/online_retail/ online_retail/ 0 1650681887776
dbfs:/databricks-datasets/overlap-join/ overlap-join/ 0 1650681887776
dbfs:/databricks-datasets/power-plant/ power-plant/ 0 1650681887776
dbfs:/databricks-datasets/retail-org/ retail-org/ 0 1650681887776
dbfs:/databricks-datasets/rwe/ rwe/ 0 1650681887776
dbfs:/databricks-datasets/sai-summit-2019-sf/ sai-summit-2019-sf/ 0 1650681887776
dbfs:/databricks-datasets/sample_logs/ sample_logs/ 0 1650681887776
dbfs:/databricks-datasets/samples/ samples/ 0 1650681887776
dbfs:/databricks-datasets/sfo_customer_survey/ sfo_customer_survey/ 0 1650681887776
dbfs:/databricks-datasets/sms_spam_collection/ sms_spam_collection/ 0 1650681887776
dbfs:/databricks-datasets/songs/ songs/ 0 1650681887776
dbfs:/databricks-datasets/structured-streaming/ structured-streaming/ 0 1650681887776
dbfs:/databricks-datasets/timeseries/ timeseries/ 0 1650681887776
dbfs:/databricks-datasets/tpch/ tpch/ 0 1650681887776
dbfs:/databricks-datasets/warmup/ warmup/ 0 1650681887776
dbfs:/databricks-datasets/weather/ weather/ 0 1650681887776
dbfs:/databricks-datasets/wiki/ wiki/ 0 1650681887776
dbfs:/databricks-datasets/wikipedia-datasets/ wikipedia-datasets/ 0 1650681887777
dbfs:/databricks-datasets/wine-quality/ wine-quality/ 0 1650681887777

参考文献

Azure Databricks のデータセット - Azure Databricks

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

Azure DatabricksのML Quickstartやーる

はじめに

DatabricksのML Quickstartやっていきます

ML Quickstart: Model Training - Databricks

Cluster

image.png

導入

1．Azure Databricksで新しいノートブックを作成する

2．ライブラリのインストール

[crayon-62862cf96787f011892450/]

3．ライブラリのインポート

[crayon-62862cf967885716426251/]

4．ワインのクオリティデータセットをダウンロード

Wine Quality Dataset

UCI Machine Learning Repository: Wine Quality Data Set

5．Create Tableから、winequality_white.csvとwinequality_red.csvをアップロード
image.png

6．データセットの読み込み

[crayon-62862cf967888020362550/]

7．autologgingの有効化

[crayon-62862cf96788b276255410/]

JavaPackageがないと怒られました

[crayon-62862cf96788d397237083/]

8．MLFlowを開始

[crayon-62862cf96788f000753350/]
[crayon-62862cf967891284851441/]

9．n_estimatorsを追加して再度MLFlowを実行

[crayon-62862cf967893796092721/]
[crayon-62862cf967895578282571/]

10．別のノートブックやジョブから利用できる

[crayon-62862cf967897325035547/]

11．ハイパーパラメータチューニング

[crayon-62862cf967899955109256/]

12．ベストスコアのモデルで実行

[crayon-62862cf96789c028329833/]
[crayon-62862cf96789f358631868/]

お疲れ様でした。

参考文献

10 分間チュートリアル: Azure Databricks での機械学習の概要 - Azure Databricks

Azure Databricks での機械学習の概要 - Azure Databricks

ノートブック（Databricks ML Quickstart: Model Training）

ML Quickstart: Model Training - Databricks

 

 

Azure Databricksの導入ならナレコムにおまかせください。

導入から活用方法までサポートします。お気軽にご相談ください。

Azure Databricksソリューションページはこちら

by azure-recipe-user

横河レンタ・リース株式会社様と株式会社ナレッジコミュニケーションでナレコムV R 共同ウェビナーを執り行いました。

 

先日 4月 19 日に 横河レンタ・リース株式会社で行われた、

横河レンタ・リース株式会社様との共同セミナーにおいて弊社五十嵐が「HoloLens向けアプリナレコムV R」の紹介で登壇いたしました。

 

  • HoloLensの導入を検討中の方
  • HoloLensのソリューションの情報収集をしている方
  • 製造業等のDXの推進に関心がある方

で、HoloLensを活用して業務の効率化やコスト削減したいといった方向けウェビナーになっております。

 

 

HoloLensの購入や自社開発などHoloLens導入における課題を、

横河レンタ・リース様からレンタルで利用することが可能になるとともに、

今回ご紹介させて頂くナレコムVRもサブスクリプションモデルで利用が可能となりますので、

すぐに利用ができ従量課金で利用したい期間だけ試すことができます。

 

 

弊社からはナレコムVRの利用事例として、立教大学様にて3Dモデルを使った模擬授業を実施した事例を中心に紹介しました。

３D分子構造情報を共有するためナレコムV Rを模擬授業で使った事例になります。

登壇時の事例画像

記事詳細はこちらから

 

また 今夏リリース予定の新機能についても情報発信いたしました。

Q Rコードでのナビゲーションの共有が可能になります。

 

ナレコムV Rのメリットを皆様にわかりやすくお伝えするため、

プレゼン内では動画も交えてナビゲーションの作成や再生、スマートフォンを使ったナビゲーションの再生機能をご紹介しました。

 

 

 

ナレコムVRのHoloLensでナビゲーションを作成する様子

 

後半の質疑応答でも、

「製造業の方にとっての、遠隔での仕事をやりやすくする業務効率化や、マニュアルなどをHoloLensに映し出し非属人化できるといったメリットが分かりやすかった。」や、「このウェビナーを通してナレコムV Rの解釈が変わりました。」などの感想が出ておりました。

また条件分岐で操作可能にするナビゲーション機能など、今後の追加機能のリクエストになる意見もいただき、皆さんの製品に対する期待値がわかりました。

 

-まとめ-

いかがでしたでしょうか？

ナレコムV Rは個別のオンラインデモも実施しております。

もし事例や製品に関心がある方がいらっしゃいましたらお申し込みをしてみてください！

（お問い合わせはこちらから）

【ナレコムV R公式サイト】

https://narekomu-vr.com/

 

【Twitter（リアルタイムでの情報をお届けします）】

https://twitter.com/KnowComInc

 

【株式会社ナレッジコミュニケーション】

https://www.knowledgecommunication.jp/

 

【ナレコムVR各種ダウンロード】

ナレコムVRは各種プラットフォームのストアからダウンロードが可能となっております。

Hololens版はMicrosoftstoreにて

Ios版は、Appストアにて

アンドロイド版はGoogleplayにて

それぞれのアプリケーションを無料でダウンロードすることができます。

 

【ナレコムVRポータルサイト】

https://www.narekomu-vr-portal.com/

  1. 無料会員登録
  2. コンテンツアップロード（20MBまで）(.glb, .png/.jpg, .mp3, .mp4, .pdf, .html)
  3. アプリダウンロード
  4. 体験

by azure-recipe-user

【Unity】HoloLens2でスクリーンショットを取る方法

目次

ソースコード

UniTaskを使用しています。

ScreenShot.cs
[crayon-62862cf9681c4595215110/]

注意点

WebCamとMicrophoneの権限が必要です。

Project Settings > Player > Publishing Settinggs > Capabilities > WebCamとMicrophoneにチェック。

HoloLens2上でポップアップが出るので許可をしてください。

アプリ毎の権限はHoloLens2の設定 > アプリで確認できます。

権限を設定しているのに動かないとき

自分の場合は別のプロジェクト名でビルドし直すと動きました。

アプリを再インストールしても治りませんでした。

参考

参考HoloLens の PhotoCapture – Unity マニュアルnull

by azure-recipe-user

Power BI ブックマークの作成から編集まで【初級編】

Power BI ブックマークとは？

作成したレポートにスライサーなどを作成しフィルタリングをすることで、様々な条件に合わせた結果を見ることができる Power BI 。条件の絞り込みや様々な条件の組み合わせの結果を瞬時に出すことができることで、自由度は増し分析がさらにしやすくなります。

しかし利用する中で「さっきの結果がもう一度見たい！」「少し前に見ていた絞り込み条件を忘れてしまった。」といった場面が出てくるかと思います。そこで利用するのがPower BI のブックマーク機能です。

ブックマークの機能は、利用時に絞り込んだ条件のフィルターや結果をそのまま保存し、いつでも呼び出せる状態にすることです。本記事ではブックマークの作成や編集、グループ化やブックマークナビゲーターなどについて解説します。

なおブックマーク機能は2022年4月時点では、Power BI Desktop のみで作成編集が可能な機能です。

 

Power BI ブックマーク作成方法

ブックマークを作成するために、まずは画面上部から表示を選択し、上部にあるブックマークを選択します。するとブックマークの編集画面が出てくるので、その上部にある追加を押すことで、ブックマークを押した状態のフィルター、つまりレポートのビューと設定がそのまま保存されます。

保存されたブックマークを押すことで、瞬時に保存した状態まで飛ぶことが可能です。ブックマークはいくつでも作成することができ、比べたい条件や絞り込みごとに保存すると便利です。

 

ブックマークの編集

条件ごとにPower BI ブックマークを作成はできますが、そのまま増えすぎてしまっては肝心の見たいブックマークがどれなのかわからなくなってしまいます。そんな時はブックマーク名称を編集することで整理が可能になります。

作成したブックマークにカーソルを合わせると、その端に詳細マークが出てきます。

そこをクリックすると名前の更新があるので、選択すると名前の編集ができます。

同様に詳細マークをクリックすると、更新と出てきますが、ブックマークの内容を新しくしたい・変更したい場合はその条件にしてから更新を選択すると、そのまま更新することができます。

 

ブックマークのグループ化

ブックマークの名前を変更し、様々な条件が保存できたとしても、そのまま増やし続けてしまうと乱雑となり、どこに見たいブックマークがあるか探すのに時間がかかってしまいます。そこでお勧めするのが、ブックマークのグループ化です。

ブックマークのグループ化というのは、複数のブックマークをまとめてグループにすること。グループ化することによって目的のブックマークを探しやすくなります。

グループ化するためには、まずグループ化したいブックマークを、Ctrlキーを押しながらクリックします。全て選択し終わったら詳細マークを選択し、グループ化という欄を選ぶだけで簡単にグループ化することができます。

もちろんブックマークと同様に、グループ化したブックマークも詳細マークを選択することで名前を変更することができます。また、グループ化を解除したい場合はグループの詳細マークを選択し、解除を押すことで解除することができます。

 

 

ブックマークナビゲーターについて

Power BI のブックマーク機能の関連にはブックマークナビゲーターという機能もあります。ブックマークナビゲーターとはブックマークと同期している機能であり、レポートにブックマークを記載することができる機能のことです。

ブックマークが順番や名前を変更するとリアルタイムでブックマークナビゲーターも変更されます。ブックマークを選んだ際、今はどのブックマークが選択されているか、レポート上で示すことが可能になります。

また形式ナビゲーターのビジュアルを選択し、その中のブックマークという欄から、デフォルトで全てのブックマークと連動しているブックマークナビゲーターを特定のグループと連動させることができます。

同様に、形式ナビゲーターのビジュアルから形や角度といった細かい設定をすることができます。

Power BI のレポートビューや設定をブックマークできることで、さらに使い勝手がよくなり効率的に分析することが可能です。ブックマークを好みにカスタマイズし、便利になったPower BI を 使ってみましょう。

 

by azure-recipe-user