Azure Data Lake について

LINEで送る
Pocket

今回はAzure Data Lakeについて、ご紹介します。

MicrosoftAzureでは最近エンタープライズ向けのサービスも充実してきました。
HD InsightやAzure SQL Datawerehouse、AzureDataLakeなど面白そうなサービスが続々と発表されています。

今回ご紹介するのは、AzureDataLakeについてです。

Azure Data Lakeとは

どんな企業にも様々な大量のデータはあると思います。ログデータであったりユーザーデータであったりセンサーだったり・・・
これらのデータは新しいサービスや価値を生み出すのに大切な資産だと思います。

昨今ではビッグデータ解析やリアルタイム分析などデータを活かすための手法や手段も増えてきました。

そんなビッグデータの格納先として活用できるのがAzure Data Lakeです!
Data Lakeは大容量の保存先を提供しつつ、低レイテンシーかつ高いスループットを保持したデータレポジトリーです。

そのシングルアカウントで1EB(!?)まで対応しており、1ファイルあたりでいうと1PBまで対応しています。まさにエンタープライズ!
もちろんエンタープライズなのでセキュリティ機能も充実しています。

パフォーマンスの監視はもちろん、Azure Active Directoryと組み合わせて、データすべてにID管理とアクセス管理が可能です。
※Azure Active Directoryについては別記事で詳しくご紹介します。

もう一つの大きな特徴はHadoopのファイルシステムであるHDFSのAPIを提供しているので、Hadoopに対応した分析ツールがそのまま使える、という点です。
冒頭で上げたHD Insightや、Hadoop環境の「Cloudera(http://www.cloudera.co.jp/)」「Hortonworks(https://jp.hortonworks.com/)」などの統合が可能です。

また、Revolution-R Enterprise などの Microsoft オファリング、Hortonworks、MapR などの業界標準ディストリビューション、および Spark、Storm、Flume、Sqoop、Kafka などのHadoop プロジェクトとも統合されます。

Azure Machine Learningにも対応しています、素晴らしい。

活用シーン
では、このAzure Data Lakeはどんな場面で使えるのか。
Azure HP(http://azure.microsoft.com/ja-jp/campaigns/data-lake/)から、抜粋しました。

■大容量を活かして
想定シナリオとして高解像度のビデオ、科学、医療、大量のバックアップ データ、イベント ストリーム、Web ログ、IoTなどの分野での活用

■低レイテンシーかつ高いスループットを活かして
高頻度、低遅延のリアルタイム分析が可能なのでWeb サイト分析、IoT、センサーからの分析など、準リアルタイムを求められるようなシーン

ちなみにData Lakeは2015年8月現在、まだ正式サービスされておらずプレビュー版のみとなります。
正式実装が楽しみですね。

いかがでしたでしょうか?
次回もお楽しみに!!

LINEで送る
Pocket