Databricks 事例紹介　~金融編~

はじめに

今回は Databricks で公開されております金融関係の事例をまとめて紹介したいと思います。
本記事で紹介しております事例については、それぞれ下記の URL 参照。

■URL
・お客様の成功事例
・HSBC 事例
・クレディ・スイス事例
・Hipotecario 事例
・Moneta 事例
・Facteus 事例

HSBC 事例

ユースケース

HSBC は数ある国際銀行の中でも最大の銀行の1つで、モバイルデバイスでの最新のデジタル決済を案内しており、PayMe というキャッシュレス取引を瞬時かつ安全に行えるソーシャルアプリを開発しました。
Databricksを使い、データ分析と機械学習をスケーリングして、パーソナライゼーション、推奨事項、ネットワークサイエンス、詐欺検出などの顧客中心のユースケースに対応できるようになりました。

課題

• 従来のシステムによる、データを大規模に処理および分析する能力の妨げ
• 手動でのデータのエクスポートとマスキングにより、古いデータを用いた予測をすることに
• デーテサイエンティスト達が各々の環境で取り組むため、共同での作業に支障が出る

成果

• 自動スケーリングクラスタや Delta Lake のサポートなどの機能により、データの取り込みから機械学習ライフサイクル全体の管理までの運用が改善
• Databricks と Delta Lake を使用することで、匿名化された本番データをリアルタイムでデータサイエンスおよびデータアナリストチームに安全に提供可能に
• Delta Lakeを使用した高性能でスケーラブルなデータパイプライン：これにより、ダウンストリーム分析と機械学習のためのリアルタイムデータ処理を実行できるように
• 複雑な分析のために、プロセスを自動化し、データ処理を6時間から6秒に
• データセット全体に対してモデルをトレーニングする機能により、予測的モデルを展開してさまざまなユースケースに対応できるように
• ネットワークサイエンスを活用して顧客とのつながりを理解する能力により、PayMeアプリのエンゲージメントレベルが4.5倍に向上

クレディ・スイス事例

ユースケース

クレディ・スイスは、Azure Databricks を含むオープンなクラウドベースのプラットフォームで標準化することで、データの種類、プライバシー、そしてスケールに関する重大な課題を克服し、組織全体の運用と ML の速度と規模を拡大しています。
Databricks を使用することで、データと分析を活用してデジタル変換を推進し、新製品をより迅速に市場に提供し、成長させ、運用効率を生み出すことができるようになりました。

課題

• 手動プロセスの制限
• オンプレミスシステムのパフォーマンス拡張の複雑さ
• スマートな意思決定を行うために活用できるデータ

成果

• Databricks のクラスター管理機能により、クラスターのプロビジョニングを簡素化することが可能に
• プロプライエタリデータやサードパーティのデータ、構造化された非構造化データのリアルタイムストリーミングなど、さまざまなデータタイプを利用可能に
• MLflow を使用することで、モデル管理ライフサイクルの合理化、モデルの迅速なテスト、実験、本番環境にデプロイ可能に

Hipotecario 事例

ユースケース

Banco Hipotecario はアルゼンチンの大手商業銀行です。
Databricks を使用してデータサイエンス、エンジニアリング分析を統合した結果、顧客の獲得とクロスセルを大幅に増加させるだけでなく、獲得コストの削減も実現し、全体的な顧客の維持と収益を大きく上げることができました。

課題

• チーム間の共同作業の弱さ
• 拡張や革新のできなさ
• リソースを大量に消費するワークフロー

成果

• Databricks の自動クラスター管理機能により、大規模なワークロードをサポートするためにクラスターをオンデマンドで拡張
• Databricks で SQL 分析を実行すると、3か月以内で最初のモデルが展開可能で、2番目のモデルの生成はわずか2週間で可能に
• ノートブックの利用により、データサイエンティストたちの共同作業が簡単に実現
• ビルド、トレーニング、およびデプロイメントが高速化

Moneta 事例

ユースケース

モネタは、チェコ共和国で4番目に大きい銀行で、国内で最も革新的な銀行として認識されております。
Databricks 統合データ分析プラットフォームにより、データと高度な分析を活用したリアルタイムの推奨事項から詐欺の検出などが可能に。

課題

• 大量のボリュームデータによる従来のシステム妨害
• 大量のデータ処理に向かない
• 運用の拡張に苦労

成果

• データと ML を使用したバンキングエクスペリエンスの向上
• 自動スケーリングクラスタやDelta LakeやMLflowのサポートなどの機能により、データの取り込みから機械学習ライフサイクル全体の管理までの分析操作が統合され、運用コストを2/3削減
• 複数の言語をサポートする共有ノートブック環境により、チームの生産性が向上
• 市場投入までの時間を改善し、プロトタイプを2Xまで生産に加速できるように

Facteus 事例

ユースケース

プロセッサー、投資会社、金融機関、小売企業向けの金融データビジネスインテリジェンス（BI）ソリューションの大手プロバイダー。
Databricks統合データ分析プラットフォームを活用して、インテリジェントなビジネス上の意思決定を行い、手動の運用タスクを自動化し、データ戦略を最適化しました。

課題

• データの小さなサンプルの分析に限定されているため、顧客の要件と業界の傾向に対する可視性と洞察が不十分
• 1,000億以上のトランザクションの処理は、規模と処理能力の欠如のために遅く、顧客の洞察を明らかにするのに数週間かかる
• データサイエンスとエンジニアリングのチームのサイロ化

成果

• 自動スケーリングクラスタやDelta LakeとMLflowのサポートなどの機能により、データの取り込みから機械学習ライフサイクル全体の管理までの運用が改善
• 複数の言語をサポートする共有ノートブック環境により、チームの生産性が向上
• 応答時間と顧客への洞察の提供が最大20倍向上
• 大量のデータへのアクセスと処理に数週間かかっていたものが、今では数時間に短縮

おわりに

Databricks の金融に関する事例の紹介は以上となります。
事例のより詳細な内容や、その他の事例については、下記のリンク先をご参照ください。

参考リンク

https://databricks.com/jp/customers