Databricks事例紹介　～メディア編～

はじめに

今回はDatabricksのメディア業界での事例をご紹介させていただきます。
【掲載事例】
1.Showtime
公式事例URL : https://databricks.com/customers/showtime
2.Comcast
公式事例URL : https://databricks.com/customers/comcast
3.CondéNast
公式事例URL : https://databricks.com/customers/conde_nast

Showtime

ユースケース

今日の消費者はコンテンツプロバイダーに期待していることが多く、期待に応えられない場合はすぐに対応する必要があります。
エンゲージメントとロイヤリティを確保するために、Showtimeはデータを活用してコンテンツ戦略を推進したいと考えていましたが、レガシーシステムのスケーリングの制限と非効率的なデータパイプラインに苦労していました。
Databricksの統合データ分析プラットフォームを使用したことにより、解約を減らしながらエンゲージメントを向上させることを目的としました。
その結果カスタマージャーニーの実用的なビジョンを得ることができました。

課題

• レガシーシステムによる新機能の市場投入までの時間の遅延
• インフラストラクチャが複雑なので、柔軟性を可能にしながら、継続的なメンテナンスを必要としないインフラストラクチャが不可欠
• 機械学習モデルを開発、トレーニング、デプロイするプロセスは非常に手作業でエラーが発生しやすく、新しいモデルの市場投入までの時間が長い

成果

• データエンジニアリングチームを大幅に簡素化し、データサイエンスチームの生産性を向上
• 豊富なデータプール内の洞察を利用して、視聴者のエンゲージメントを促進し、解約を減らす機会の発見
• チームおよび複数のプログラミング言語間でコラボレーションを簡単かつシームレスにして、データサイエンスの生産性を向上
• MLflowによって、MLライフサイクル全体を合理化
• DatabricksはShowtimeが組織全体でデータと機械学習を民主化するのに役立ち、よりデータ主導の文化を生み出した
• 24時間以上かかっていたデータパイプラインが4時間未満で実行されるようになり(6倍の高速化)、チームがより迅速に意思決定を行えるように
• 自動クラスター管理を備えたクラウド内のフルマネージドプラットフォームにより、データサイエンスチームはハードウェア構成、クラスター のプロビジョニング、デバッグなどではなく、機械学習に注力
• データサイエンスのコラボレーションと生産性の向上により、新しいモデルと機能の市場投入までの時間が短縮されました。チームはより速く実験でき、加入者にとってより良い、よりパーソナライズされたエクスペリエンスに

Comcast

ユースケース

Comcastは数百万の顧客にパーソナライズされた体験を提供するグローバルなテクノロジーおよびメディア企業です。
Comcastは大量のデータ、壊れやすいデータパイプライン、不十分なデータサイエンスコラボレーションに苦労していました。
Delta LakeやMLflowなどのDatabricksを使用して、ペタバイト規模のデータ用の高性能データパイプラインを構築し、数百のモデルのライフサイクルを簡単に管理できるようになりました。
その結果、音声認識と機械学習を使用した、非常に革新的でユニークな視聴者体験を提供します。

課題

• 数十億の個別のやり取りを実用的な洞察に変えな​​がら、特定のプログラムに対する顧客の声の要求に即座に答える必要があり、ITインフラストラクチャとデータ分析およびデータサイエンスチームに大きな負担があった。
• 作成したモデルを、クラウド、オンプレミス、場合によっては直接デバイスに直接接続するなど、ばらばらで異なる環境に展開する必要があった。
• エンターテインメントシステムによって生成された数十億のイベントと2000万以上の音声リモコンにより、分析する必要があるペタバイトのデータが発生している。
• さまざまなスクリプト言語で作業する世界的に分散したデータサイエンティストは、コードの共有と再利用に苦労していた。
• 数百のMLモデルの開発、トレーニング、デプロイは非常に手動で行われ、時間がかかり、複製が困難であったため、スケーリングが困難
• 開発チームは最新のツールとモデルを使用することを望み、運用チームは実証済みのインフラストラクチャに展開することを望んでいた。

成果

• Databricks統合データ分析プラットフォームにより、Comcastは豊富なデータセットを構築し、大規模な機械学習を最適化し、チーム全体でワークフローを合理化し、コラボレーションを促進し、インフラストラクチャの複雑さを軽減し、優れた顧客体験の提供を実現
• 自動クラスター管理と、自動スケーリングやスポットインスタンスなどのコスト管理機能により、運用コストを削減
• Delta Lakeは、取り込み、データエンリッチメント、ビデオおよび音声アプリケーションとデバイスからの生テレメトリの初期処理に使用
• Delta Lakeにより、ファイルを最適化し、大規模で迅速かつ信頼性の高い取り込みを実現
• インタラクティブなノートブックにより、チーム間のコラボレーションとデータサイエンスの創造性が向上し、モデルのプロトタイピングを大幅に高速化して反復も高速化
• マネージドMLflowは、Kubeflow環境を介して機械学習ライフサイクルとモデルの提供を簡素化し、数百のモデルを簡単に追跡および管理可能に
• Delta Lakeは、効率的な分析パイプラインを大規模に提供し、履歴データとストリーミングデータを確実に結合して、より深い洞察を得ることが可能

CondéNast

ユースケース

Vogue, the New Yorker, Wiredなどの象徴的な雑誌の出版社であるCondéNastは、データを使用して、印刷物、オンライン、ビデオ、ソーシャルメディアで10億人以上の人々にリーチしています。

膨大な量のデータを活用するため、インフラストラクチャの管理とデータサイエンスの生産性の向上に苦労していました。
Databricksを使用すると、クラスターの自動化により不要なDevOps作業が排除され、Delta Lakeにより、月に1兆データポイントまで拡張できるデータパイプラインを構築できるようになり、MLライフサイクル全体を管理するMLflowとのコラボレーション環境でデータサイエンスのイノベーションが実現しました。
これにより、ブランド全体でパーソナライズされたコンテンツを配信し、顧客を引き付けて維持することができます。

課題

• Sparkクラスターの構築と管理には、多くの設定と継続的なメンテナンスが必要で、より価値の高い活動からチームを遠ざけた
• チームがデータパイプラインを構築し、コラボレーションを促進するために分析を進めるための共通のプラットフォームを見つける必要があった
• データが多すぎてデータセットが既存のデータレイクソリューションを上回っていた

成果

• 運用を簡素化し、優れたパフォーマンスを提供し、データサイエンスの革新を可能にするフルマネージドクラウドプラットフォームを提供
• データサイエンティストは、データと洞察を共同作業、共有、追跡し、共同作業の環境を促進可能に
• データセットの量が増えると（月に1兆データポイントを超える）、Delta Lakeはこれに対応し、データの書き換えやデータのマージなど、より多くのユースケースに対応可能
• MLflowを使用することにより実験の追跡から生産モデルの監視まで、機械学習ライフサイクル全体を簡単に管理可能に

おわりに

Databricks のメディアに関する事例の紹介は以上となります。
今回ご紹介した事例以外にも多くの参考になる事例が公開されておりますのでぜひ下記のリンク先をご参照ください。

参考リンク

https://databricks.com/jp/customers

by azure-recipe-user

Databricks事例紹介 ~コンシューマー編~

はじめに
本記事では、Databricksのコンシューマいわゆる消費者にまつわる事例をご紹介します。

1,Electrolux社
公式事例URL：https://databricks.com/customers/electrolux

2,Grab社
公式事例URL：https://databricks.com/customers/grab

■Grab社

■ユースケース
豊富な顧客セグメントとより深いプロファイルを構築
より効率的かつ効果的に、顧客により良いサービスを提供

■課題
・様々なデータチームがそれぞれの目的を基に業務を行なっていたため
一貫性をもって顧客を理解できていなかった
・部門間での各データにある属性間の関係を見落としていた
・それぞれのチームでそれぞれのシステムを構築していたため複数のデータパイプラインができ、それぞれを維持および更新管理をする必要があった
・エンジニアの工数が増大し、コストも大幅に増加した
・データの民主化を行ない各チームでその可能性を統合して深い洞察を得る必要があった

上記課題から必要としていたニーズ
・データ量に関係なく拡張や部門間などでのコラボレーションを可能にする統合データ分析プラットフォームが必要だった。
・顧客にパーソナライズされた体験を提供するために顧客セグメントの集中化された一貫したビューを提供するソリューションが必要だった。

■成果
・Databricksを搭載したGrabの社内セルフサービス顧客データソリューション（Customer 360）は、様々な角度から集約された顧客属性の真の単一ソースを実現した。
この民主化された顧客データにどこからでも安全にアクセスして、顧客の習慣やニーズについてよりよく学習し、強化されたアプリ内エクスペリエンスを作成できるようになった。
・Databricksを活用したCustomer 360により、Grabは顧客データを活用し、地理空間的またはトランザクションの観点を超えて、さまざまな製品セグメントおよび機能にわたってお客様の一貫した理解を構築できるようになった
・Delta Lakeを通じて、Grabは、データの整合性とセキュリティをさらに強化する方法で、Webサイトやアプリケーションからユーザーが生成した数千の信号とデータソースを取り込み、最適化。
・数週間かかっていた面倒な作業が今では数時間に短縮
・データをシームレスに統合するDatabricksの機能により、豊富な顧客セグメントとより深いプロファイルを実現
・完全にセルフサービスの内部ポータルを通じて、さまざまなチームが簡単にコラボレーションして、顧客データ、洞察、属性、およびライフタイムバリューを調査可能になった
・より効率的かつ効果的に、より適切な推奨を行ったり、顧客の好みに合わせた新機能を設計したりして、アプリ内エクスペリエンスを改善し、顧客により良いサービスを提供できるようになった。

■Electrolux社

■ユースケース
売上予測を改善し、サプライチェーンを合理化し、製品をタイムリーに提供することで収益を予測し、顧客満足度を向上

■課題
・400以上の倉庫と流通センターより年間6000万以上位の製品を製造、出荷しているため、非常に複雑なサプライチェーン（仕入れから出荷までの一連の流れのこと）となっている
・このサプライチェーンにより、競争圧力や揮発性物質のコストの発生
・サプライチェーンの複雑さと管理するモデルの数が多かったため、データ資産を管理するだけでなく、さまざまなモデルすべてをバージョン管理するためのより良い方法が必要
・分析方法は、従来Excelに複数のデータソースから履歴情報（価格、オンライン評価、レビューなど）を入力。このプロセスで非常に大きなリソースを消費するだけでなく、マーケティングキャンペーンの影響を明確に示さない不正確な予測をもたらした

■成果
・Databricksを使用すると、Electroluxは大量の消費者データと製品データを簡単に取り込み、機械学習を大規模に活用して、マーケティングROIと売上予測の改善を通じてバリューチェーンを最適化する方法をより深く理解できた
・Delta Lakeを使用すると、Electoluxのデータチームは数百万のデータポイントを簡単に取り込み、データ品質の問題を心配することなく、大規模な堅牢な本番データパイプラインを構築できた。
・MLflowは、Electroluxの完全な機械学習ライフサイクルを合理化します。「Databricksを使用すると、さまざまなバージョンの実験とシミュレーションを追跡し、組織全体でモデルをパッケージ化して共有及び展開が可能。その結果、予測モデルをはるかに速いペースで反復して、より正確な予測を行うことができる。
・データチームにとって、技術者ではないチームメンバーが活用できる方法で実用的な洞察を提供することも重要である。全体として、同じプラットフォームでのデータサイエンス、エンジニアリング、およびアナリストチームの統合により、チーム間のコラボレーションが促進され、ビジネス全体の販売と運用を改善する新しいデータ主導の機会が生まれた。
・エレクトロラックスの販売予測エンジンの中核にDatabrikcsを導入したことにより、絶え間なく改善されてスマートになっている何千ものモデルにデータを供給するため、グローバルサプライチェーンの複雑さは今や貴重な資産であり、競争上の差別化要因と見なされている。
同社は現在、消費者と市場が将来どのように振る舞うかをより正確に予測することが可能。これらの新たな洞察により、サプライチェーンのすべての重要な側面が改善。特に、販売およびマーケティングキャンペーンが販売予測に与える影響大。
・Databricksを使用すると、セールスプロモーションがより的確に行われるだけでなく、適切な製品を適切なコンシューマーに適切なタイミングで提供可能となる

by azure-recipe-user