Azure Data Factory について

今回はAzure Data Factoryについて、ご紹介します。

昨今、企業では、利用可能な様々なデータを多種多様に活用しようとしています。
そういった流れの中、データ処理の状況も、かつてないほど多様になってきています。

地理的位置や、オンプレミスとクラウド、幅広いデータ型とデータ ソース (SQL、NoSQL、Hadoopなど) にわたってデータが処理され、処理する必要のあるデータ量は飛躍的に増加しています。
こういったデータと処理作業のすべてを管理、調整できる情報生成システムのために開発者はカスタム ロジックを書く必要がありました。

Azure Data Factoryはそんな情報生成のためのパイプラインを構築できるサービスです!

Azure Data Factoryとは

Azure Data Factoryとはフルマネージド型の情報生成パイプラインを構築、管理するサービスです。
データの保存やデータの処理、データの移動の各サービスを効率的かつスケーラブルで信頼性の高いデータ生成パイプラインとして構成し、利用できます。
Azure Data Factoryでなにができるか、というと・・・

・オンプレミス、クラウドおよびインターネットのデータストアから取得したデータを結合、集計、および変換するデータ主導のワークフロー (パイプライン) の構築。

・さまざまなデータソースの、半構造化、非構造化、および構造化されたデータを信頼できる情報に変換。

・ビジネスインテリジェンス (BI)、分析ツール、およびその他のアプリケーションを使用して簡単に使用できるデータの生成。

・単純なJSONスクリプトを通じて、複雑なデータ処理の設定。

・Azureプレビューポータルが提供するUIから、これらのパイプラインの監視と管理の実施。

DataFactoryの料金

Azure Data Factoryの料金は、DataFactoryを使う環境(クラウドまたはオンプレミス)と実行頻度(高いか低いか)の2つの要素で決まります。

頻度の低いアクティビティとは、1日 1 回以下の実行、頻度の高いアクティビティとは 1 日 2 回以上実行されるアクティビティです。
わかりやすいですね。

ただ残念なことにこの記事を書いている2015年7月でDataFactoryはPreview版となります。
提供リージョンも米国西部、北ヨーロッパのみとなります。

いかがでしたでしょうか?
次回もお楽しみに!!


Azure Premium Storage について(できること、活用法編)

今回はAzureのストレージサービスの中の一つ、Azure Premium Storageについてご紹介致します。

Azure のストレージサービスには、ブロック BLOB、ページ BLOB と Disks、Tables と Queues、ファイル (プレビュー) という 4 種類のストレージがあり、これらをStandard Storageと呼びます。

今回ご紹介するPremium Storageは上述のStandard Storageとは別の、Azure VM上で利用できるSSDです。

Standard StorageはいわゆるHDDですが、これに対して高いIOPSを発揮できるのがPremium Storageです。
まさにプレミアム!

高パフォーマンス

ではPremiumStorageのパフォーマンスはどれぐらい高いのでしょうか。
Azure VM上でのディスクスピードは仮想マシンのスペックに応じて変動しますが、高いものでディスクあたり500IOPSが限度です。

参考:https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machines-size-specs/

PremiumStorageであればなんと最大5,000IOPSものパフォーマンスをだすことができます。
しかし甘くみてはいけません。
Premium Storageは、専用の相方Azure VM DSシリーズを組み合わせることで真の実力を発揮します!

ちなみにDSシリーズをちょっとだけ紹介するとこんな感じです。

※DSシリーズについてはこちらのURLも参考にして下さい。
https://azure.microsoft.com/ja-jp/documentation/articles/storage-premium-storage-preview-portal/

そしてこのDSシリーズを組み合わせるとなんとなんと64,000IOPS以上のパフォーマンスがだせます!!!
※1つのVMに複数のディスクをアタッチして最大32 TBのストレージを割り当てる、素晴らしいですね。

料金

ではこのPremium Storage費用はどれくらいなんでしょうか。
Premium Storageはディスクサイズによって費用が変わります。

※スナップショットは\14.08/GB/月です。

ちなみに64,000IOPSを出そうとすると・・・

P30ディスク/\13,787.34/月*10台=\137873.4/月
※上記に加え、OSディスクからのキャッシュによる読み取りなどが必要

お値段もPremium感ありますね笑

参考:
http://blogs.msdn.com/b/windowsazurej/archive/2015/04/23/azure-premium-storage-now-generally-available.aspx

※日本では2015年7月現在、西日本リージョンのみの利用となります。

いかがでしたでしょうか?

クラウドだとパフォーマンスでないんじゃ・・・とお考えのそこアナタ!
ぜひPremium Storageを体感してみてはいかがでしょうか。

次回もお楽しみに!!


Azure Stream Analytics について(できること、活用法編)

前回はAzure Stream Analyticsがどんなサービスか、またそのメリットについてご紹介しました。
今回はAzure Stream Analyticsでできることや、その活用法について調べてみましょう。

活用例

・IOT分野での活用
前回の記事でも名前はだしましたが、IOTはInternet of Thingsの略で従来は主にパソコンやサーバー、プリンタ等のIT関連機器が接続されていたインターネットにそれ以外の様々な"モノ"(ビデオカメラやスマートフォンなど)を接続する技術のことを指します。

Azure Stream AnalyticsをIoT分野で活用すれば様々なデバイスからとれるデータをEvent Hubで集めてそのデータをリアルタイムに加工することができるので、今なにが起きているかを随時知ることができます。

・ログ解析
Azure Stream Analyticsを使えば様々なログのモニタリングなども可能です。

ログ管理といえば、
・各サーバや機器によってログの保存期間が異なり統一されていない。
・ログの痕跡を残さないと改ざん、削除等に対して無防備になってしまう。
・ログのフォーマットがバラバラで管理が煩雑化
上記のような課題があるのではないでしょうか?
こういった課題には、例えばAzure Stream Analyticsが処理したデータをダッシュボードなどに表示するようにしておけば管理者はいつでもログを閲覧、対応することができます。

その他にも、POSデータやユーザ動向分析でもAzure Stream Analyticsは活躍しそうですね!

次回もお楽しみに!!


Azure Stream Analytics について(基本編、特徴)

昨今、ビッグデータやIoTなどの単語をよく耳にします。

今までただ貯めていただけのデータを活用したり、複数のデータを掛けあわせて予測を行うなど多くの企業がこういった分野について興味関心をもっています。
MicrosoftAzureでもMachineLearningなどこういった分野に特化したサービスはあります。

今回ご紹介するAzure Stream AnalyticsもIoT向けサービスの一つです。

Azure Stream Analyticsは一言でいうとリアルタイムストリーム処理サービスです。
2014年10月にPublicPreviewが開始されたばかりのサービスでストリーミングデータをほぼリアルタイムに分析及び処理をします。
同じAzure上のサービス、BLOBストレージやEvent Hubsからデータを入力し、SQLライクなStream Analyticsの独自のクエリ言語でデータの処理をします。
そのデータを再度BLOBやEvent Hubsに出力したり、SQL Databaseに保存することが可能です。

大きな特徴として下記があります。

・容易に活用できる
クラウドなので簡単にサービスを利用でき、いつでもやめることができます。
またAzureのマネージドサービスなので任意にリソースコントロールがで可能です。
つまりハードウェアの購入やソフトウェアのインストールは不要です。

・スケーラブル
Stream Analytics は、最大 1 GB/秒の高いイベント スループットを処理できます。
さらに将来的な話ではありますが、Stream Analytics は、イベントの取り込み率、処理の複雑さ、および予測される待機時間に基づいて自動的にスケールし、適切にカスタマイズできるようになる予定です。

・信頼性のある、素早いリカバリ
Stream Analytics は、データ損失を発生させず、ノード障害が生じた場合でも組み込みの回復とチェックポイントの機能を通じて迅速な復旧をします。

Stream Analytics は、内部に状態を保持できる特性を通じて、繰り返し可能な処理結果を提供できるので、イベントをアーカイブしておき、後で処理に再適用して同じ結果を取得することが可能です。

次回はStream Analyticsの活用法について調べてみましょう。

次回もお楽しみに!!


Azure Content Delivery Networkについて その2

今回もAzure Content Delivery Network(以下CDN)についてご紹介します。
前回はCDNとは何かご紹介させていただきました、こちらもぜひご一読下さい!

さて、今回はAzureCDNの機能面などを調べてみました。
おさらいです、Azure webサイトを利用していて大容量の画像や動画などを配信した場合webサイトにアクセスが集中して表示が遅くなり、そもそもwebサイトがダウンしてしまう可能性があります。

そんなときに役立つのがCDNです。

仕組みとしては、AzureのBLOB(Azureのストレージサービス)に配信したいコンテンツを保存します。
そのコンテンツをAzureのPOP(ポイント オブ プレゼンス)と呼ばれるエッジサーバにキャッシュして配信します。
これをすることでユーザーは一番近いPOPからコンテンツを閲覧します。
一番近いPOPが選択されるため、物理的な問題はもちろん、表示が遅いといった問題から開放されます。

ちなみにPOPの所在はこんな感じです。
pop

簡単にいうとアクセスを各POPに分散して、webサイト負荷を下げるということですね。

ではCDN以外にこういった課題を解決する方法はあるのでしょうか。

例えばBLOBを使って配信することも可能です。
この場合、コンテンツをBLOBに保存するところまでは同様なのですが、CDNではなくBLOBから直接コンテンツを受信するように設定します。

CDNと同様に、webサイト自体の負荷を下げることが可能ですが、配信する場所がBLOBのおいてあるリージョンからとなるので海外からのアクセスなどは課題解決につながりません。

注意点としてAzureCDNは、設置したファイルの修正が困難なので変更がないものを設置するか、キャッシュの有効期限を指定するなどの工夫が必要になります。

さて最後に、AzureCDNの費用を見てみましょう。

・月額10TBまで 
ZONE1 ¥8.88(GBあたり) ZONE2 \14.08(GBあたり)

・次の40TB(10-50TB)まで 
ZONE1 ¥8.16(GBあたり) ZONE2 \13.26(GBあたり)

・次の100TB(50-150TB)まで
ZONE1 ¥6.12(GBあたり) ZONE2 \12.24(GBあたり)

このZONEというのは転送が発生する CDN ノードの場所によって異なります。
地域の範囲はおおまかにこんな感じです。

ZONE 1: 北米およびヨーロッパ
ZONE 2: ラテン アメリカ、中東、アフリカ、およびアジア太平洋

※あくまでエンドユーザーの所在地ではなく、CDN ノードの場所だということに注意しましょう!

いかがでしたでしょうか?
コンテンツ配信などの際にはぜひCDNをご一考下さい。

次回もお楽しみに!!


Azure Content Delivery Networkについて その1

今回はAzure Content Delivery Networkについてご紹介します。

Azure Content Delivery Networkは呼んで字のごとく、Azureが提供するContent Delivery Networkサービスです。
そもそもContent Delivery Network(以下CDN)とは、ファイルサイズの大きい画像や動画をネットワークを通して配信するためのものです。

ECサイト等のBtoC向けサービスはこういった画像を取り扱うことが多いと思います。
しかし、こういった多くの画像を取り扱うと一つ一つのコンテンツの読み込みが遅くなったり、表示されなくなったりしてしまいます。
また、普段は問題なく表示されていたとしてもアクセス過多でレスポンスが遅くなったり、グローバル展開するサイトでいえばどうしても物理的な距離があるため同様にレスポンスが低下します。

このような場合に便利なのがCDNなわけですね。

では視野を広げて、CDNサービスにはどんなものがあるか見て行きましょう。

・Azure Content Delivery Network
今回ご紹介するMicrosoftAzureのCDNサービスです。
Azureにはインフラ知識がない方でもwebサイトが簡単に作成できる、PaaS型サービスAzure Websiteがあり、これと組み合わせて利用します。
詳細は後ほど。

・Akamai
Akamai社はアメリカ合衆国の企業でその特徴は、世界随一とも言われる高速ネットワークを有していて、サーバは72か国に84,000台以上設置されています。
独自の技術によって、Akamai社は国内外でCDN最大手企業としての地位を不動のものとしています。

・Amazon CloudFront
Amazon Web Servicesが提供するCDNサービスです。他社のCDNと比較して圧倒的なコストパフォーマンスを誇っています。
またCDNサービスだけではなく、Amazon Web Servicesのそれ以外のサービス(仮想サーバやストレージ、データ解析基盤など)と連携させることで高い付加価値を生み出します。

いかがでしたでしょうか?
次回は実際にAzureCDNができることについて見ていきましょう。

次回もお楽しみに!!


Azure Site Recoveryについて

今回はAzure Site Recoveryに続き、Azure Site Recoveryの概要を紹介したいと思います。

今回はAzure Site Recoveryの実際の動きとそのメリットについてご紹介します。

前回、Site RecoveryはオンプレミスのHyper-VやVMwareで動作する仮想マシンのレプリカを、異なる別のオンプレミスのサイトやAzure上に構築し迅速にシステムを復旧させるサービスとなる、とご紹介させていただきました。

Site Recovery

今回は実際にオンプレミスの障害が起きたと想定してどのようにAzureで復旧するのかまとめました。
①通常

Site Recoveryは、Azureの東及び西日本リージョンを選択することができ、非常に使いやすいサービスとなっており、通常時は復旧時のサイトの仮想マシンは停止状態のため、費用は発生しません。
つまりストレージの費用だけなので費用対効果も非常に高いと言えます。
※SiteRecoveryの費用は発生します。
http://azure.microsoft.com/ja-jp/pricing/details/site-recovery/

②災害

災害時は事前に設定した復旧プラン(頻度やレプリケーションの開始時刻等が設定可能)に基づき、シンプル操作で復旧できます。
復旧は自動で行うことも可能ですし、手動でも可能です。
手動の場合、Azureにアクセスできればどんなデバイスでもリカバリプランを実施できます。
③復旧

復旧の際も、フェイルバックを実施すれば、Azure側で起動した仮想マシンから逆レプリケーションも可能です。

いかがでしたでしょうか?
Site Recoveryで簡単対策、復旧をぜひお試し下さい!

次回もお楽しみに!!


5分でわかるAzure Site Recovery

今回はAzure のSite Recoveryについて簡単にまとめました!

Site Recoveryについて

Site RecoveryはオンプレミスのHyper-VやVMwareで動作する仮想マシンのレプリカを、異なる別のオンプレミスのサイトやAzure上に構築し迅速にシステムを復旧させるサービスとなります。

1

利用パターンとしては下記の3つが挙げられます。

・オンプレミスからオンプレミス(Hyper-V同士の復旧)
・オンプレミスからAzure
・VMwareからVMware

Azureならではなのがやはり、オンプレミスからAzureへの復旧です。

2

セカンダリとなるAzureはハードウェアは不要となり、平常時はデータの同期のみなのでコールドスタンバイとなり、Azure上の仮想マシンは起動していません。
無駄なコストが発生しないので非常に便利です。

設定項目について

Site Recoveryは、事前に復旧計画を定義することができます。
設定可能は項目には下記があります。

・ データの暗号化
・ 頻度
・ 復旧ポイントの保持期間
・ アプリケーション整合性スナップショットの頻度
・ レプリケーションの開始時刻

料金について

気になるSite Reciveryの料金は・・・

・オンプレミス同士の場合
保護するインスタンスにつき  ¥1,632 /月

・オンプレミスからAzure への場合
保護するインスタンスにつき ¥5,508 /月

※オンプレミスからAzure への場合、Azureストレージ、データ転送、Azure仮想マシン、Azure仮想ネットワークの課金も発生します。

いかがでしたでしょうか?
次回もお楽しみに!


5分でわかるAzure Virtual Machine

今回はAzureのVirtual Machineseについて簡単にまとめました!。

◯Virtual Machineseについて

Virtual MachineseはIaaSのサービスとなります。

発表された当初マイクロソフトのクラウド環境で、Linuxが扱えるようになったということで注目を浴びました。
WindowsやLinuxなど、自由にOSを選択して利用することが可能で、Linuxユーザも既存のオンプレミス環境から容易にクラウドサービスを開始できます。

20140116012444

◯インスタンスタイプ

選べる種類は汎用計算Basic、Standard、計算最適化、ネットワーク最適化に大きく別れます。

料金体系としては他のサービスと同様スペックにより変動し、最低料金は時間単価¥2.25(\1632/月)とPaaS型のCloud servicesと比べると若干安いです。

用途によってサービスを使い分け、最適な環境を作りましょう。
無料枠もございますのでぜひご活用ください。

いかがでしたでしょうか?
次回もお楽しみに!


5分でわかるAzure Cloud Service

今回はAzureのCloud Servicesについて簡単にまとめました!

◯Cloud Servicesについて

Cloud Services はWebページに特化しているWebサイトとは違い、 PaaSを使う環境がクラウドサービスです。

20140116012444

AmazonWebServicesのようにインフラに特化しているのがIaaS型のサービスですが,クラウドサービスを利用すれば,OSをインストールした後の作業の大部分、例えばログ収集やスケールアウト,アプリケーションの自動展開する機能などをカバーしてくれます。

◯インスタンスタイプ

選べる種類は汎用、メモリ集中、コンピューティング集中の3種類があります。
またSSD搭載のoptimized computeも同様に汎用、メモリ集中、コンピューティング集中がああります。

料金体系としては、スペックにより変動し、時間単価¥2.4(\1734/月)というお手頃なものから¥499.80/時間(~ ¥371,892/月)と高価なものまで幅広く選択することが可能です。
またクラウドならではのつかった分だけの支払いなのでオンプレミスのように過剰投資にならないのが大きなメリットですね。

いかがでしたでしょうか?
次回もお楽しみに!