azure-recipe-user はじめに
（9 : 00 AM – 12 : 00 PM | Moscone Center, San Francisco）
※本稿は、午前の基調講演で語られた内容を、現場メモと公式アナウンスを突き合わせながら丹念に書き起こしたものです。Diamond Sponsor の展示エリアで得た裏話や参加者の反応も補足しています。資料の解像度を落とさず、しかし読み物として楽しめるように意識しました。
1. Welcome ― サンフランシスコ市長 ロンドン・ブリード ＆ Databricks CEO Ali Ghodsi
市長が掲げた二つの復興軸
- Public Safety – 近年問題視されてきたダウンタウン治安の改善策として、ホスピタリティゾーン特別部隊（SFPD Hospitality Zone Taskforce）を新設。カンファレンス来訪者が体感できる“見える安心”を創出。
- 経済エンジンの再点火 – AI 企業の誘致を「シリコンバレーのお膝元から“シビックバレー”へ」と表現し、800 万ドル規模のスタートアップ助成金プログラムを予告。
Ali の冒頭トークで会場が一気に温まった瞬間
- Databricks は Data + AI Summit を「向こう 5 年間、サンフランシスコで継続開催」と明言。コロナ禍以降 “ラスベガス移転説” も流れていただけに、地元には朗報。
- 来場者の国籍は 160 か国超。なかでもインド・イスラエル・ブラジルからの参加が前年の 2 倍。「市長が早口すぎて同時通訳泣かせだった」とスタッフ談。
前日発表の “3 大ニュース” を 60 秒で再整理
- Lakebase ― OLTP とデータレイクを同一ストレージで実現する新アーキテクチャ。従来の RDB → CDC → Lakehouse という多段コストを大胆に圧縮。
- Agent Bricks ― RAG や LLM ファインチューニングだけでは終わらない。“評価指標を自動生成し、タスク最適モデルを自動選抜する” エージェント基盤。
- Databricks Free Edition ― クレカ入力・企業メール不要、受講教材も一部オープンソース化。AWS の「Free Tier」を強く意識した動き。
市長は「Open for Business」を 7 回連呼。Ali はそれを “データと AI の開国宣言” と呼応させました。政治的スローガンとテック業界の文脈が自然に重なる瞬間に、聴衆が大きく頷いていたのが印象的です。
2. ビッグゲスト対談 ― Microsoft CEO サティア・ナデラ
10 分間に込められた 3 つのキーワード
-
Compounding S-Curves（複合 S 曲線）
「Pre-training → 推論コスト最適化 → アプリ成熟化」という 3 連続の S カーブが同時進行している、とナデラ。Azure OpenAI Service の利用パターンが裏付け。 -
Digital Co-Workers
「チャット → タスク → エージェント → 半自律的同僚」という利用段階を整理。Copilot Studio と Databricks Foundry の協調で“チーム配属可能な AI”を狙う、と示唆。 -
GDP as the True KPI
AI の価値測定を MLPerf ではなく「部署別の実質生産性」に置く、と明言。これに Ali が「Agent Bricks の評価基準も財務 KPI に近づける」と応答し拍手。
パートナーシップ延伸の中身
- Azure Databricks の“First-Party Service”地位を 2030 年代まで存続。
- Fabric / Power Platform との連携強化で、低コード開発者 → データサイエンティスト → LLM エンジニアまで “ワンパス連携” を保証。
現場の声
同席していた北米系 SIer の VP 曰く「『Fabric 上で Databricks をネイティブに呼ぶ』設計案件が一気に加速する」とのこと。
3. Matei Zaharia が語る Unity Catalog 2025 ― “ガバナンスの再定義”
1) Apache Iceberg を“最高品質”で抱き込む
- Iceberg Managed Tables を Public Preview 開始。
- Governed Read/Write ― 外部エンジンの書込みも行レベル権限を尊重。
- Predictive Optimization ― Delta Lake 4.0 のファイル設計術を Iceberg に逆輸入、クエリ遅延を 5 倍短縮。
- Delta Sharing × Iceberg ― “Parquet データを Iceberg Catalog 経由＋Delta Sharing 経由”の両面配信。
- デモでは EMR Trino → Snowflake → DuckDB ３種の外部エンジンを 2 分で横断。PII マスクが完璧に効いており、観客がどよめき。
2) Business Discovery ― 「社内データ・マーケットプレイス」のUX刷新
- Domains / Certification / Deprecation を GUI でワンクリック設定。
- 裏で Data Intelligence が稼働：人気度・最終更新・コスト貢献度をヒートマップ表示。BI 担当者が「Snowflake の Tag ベース分類より可視性が高い」と評価。
3) Metrics GA
- Semantic Layer を「Left Shift」し、SQL／Spark／BI ツールが同一定義を共有。Virgin Atlantic が「ダッシュボードと ML パイプラインが同一 KPI を参照」と絶賛。
4. Spark 4.0 と OSS への大型寄贈
- Declarative Pipelines（旧 Delta Live Tables）が Apache Spark 本体へ。ETL 記述を「資産価値ある OSS 方言」に変換。
- Real-Time Mode：マイクロバッチを脱し、長寿タスク + オブザーバブルストリームでサブ秒レイテンシ。Kafka + Flink 競合ゾーンに Spark が本格参入。
- SQL UDF, VARIANT 型, Spark Connect Rust/Go/Swift など言語面でも拡張。
エンジニア向け Tip
spark-efficient-state-store の SIG が近く立ち上がる予定。ステートフル AGG を自作する場合はコントリビュート推奨とのこと。
5. Lakeflow GA と Designer 誕生
Lakeflow Connect
- SAP, Salesforce, Netsuite, Postgres CDC… 今年だけで 40 以上の新コネクタ。
- 全ロードは差分・暗号化・UC 登録を自動。
Lakeflow Declarative Pipelines IDE
- VS Code 風 UI ＋ AI アシスタント。
- Data Quality チェックを自然言語で追加 → SQL 生成。
- Serverless ノートブックで外部 API コールもタスクに内包、GitOps も可能。
Lakeflow Jobs
- 高度な Control-Flow（条件分岐・ループ）に対応。
- Snowflake 700 社を“多段オケ”先として取り込んでいる点が目玉。
Lakeflow Designer（完全ノーコード）
- ドラッグ & ドロップ + ジェニ AI でスプレッドシート→スキーマ化→ETL パイプライン化を実演。
- 生成されたビジュアル・ノードはそのまま Declarative Pipelines (Spark) として保存。
- ノーコードとコードの“往復可能性”を担保。
6. Databricks SQL ― “次世代ウェアハウス”の価格性能
- クエリ性能 45 % 向上／料金据え置き のアップグレードを即日適用。
- Lakehouse 上の完全オープンフォーマットが “隠れコスト” を排除。TPC-DS 比較グラフで他社 SaaS が軒並み +30 % 〜 +80 % の TCO。
- Lakebridge：自然言語で「Snowflake DDL → Delta DDL」を提案し、バッチ変換まで自動化。
7. Google Gemini × Databricks ― A2A 時代の幕開け
- Gemini モデルが Databricks にネイティブ接続。推論もファインチューニングもワークスペース内で完結。
- A2A（Agent-to-Agent）プロトコルで、Gemini／Llama／OpenAI 系エージェントが相互に自己能力を公開し協調。Mondelez 事例が先行展開。
8. AIBI GA と Deep Research Mode
AIBI Dashboards
- クロスフィルタ／ドリルダウン／マルチページ／テーマ機能で“運用系レポート”水準へ到達。
- AI Forecast・AI Top Drivers 関数をワンクリック追加。
Genie Deep Research Mode
- 「売上を伸ばすには？」のような曖昧問いを、自動で 調査計画 → 並列検証 → 引用付き要約 を生成。
- Knowledge Store に会話ログを保存し、Unity Catalog Metrics へ“昇格”提案。外部 BI／AI も同じセマンティクスを参照可能に。
Databricks One
- ビジネスユーザー用の新ポータル。必要最小限の左メニュー＋Genie チャットが中心。
- 真の狙いは「ワークスペース UI に踏み込ませずに権限統制を簡素化」。
9. Rivian が語るリアル現場
- バッテリーライン解析からサプライチェーン最適化まで 現場エンジニアが AIBI で自走。
- Rover の OTA データを Lakehouse に落とし込み、ドメインチームが自前で ROOT CAUSE を掘り当てる文化が醸成。
総括 ― Day 2 で見えた「Databricks の現在地と向かう先」
“Open, Unified, Intelligent” を本気で完遂する工程表が出揃った
Iceberg・Spark OSS 寄贈・Gemini 連携と、敵味方を作らないプラットフォーム設計へ舵を切った。
リアルタイム＆ノーコードで人材ボトルネックを解消
Declarative Pipelines + Real-Time Mode + Designer の三位一体で、ETL～運用ストリームの門戸が広がる。
セマンティクスを“学習・昇格・共有”する循環が生まれた
Genie Deep Research ↔ Unity Catalog Metrics ↔ 外部ツール。LLM 時代のデータガバナンスに向けた実装例として注目。
ナレッジコミュニケーションでは、Databricks Data + AI Summit 2025 開催にあわせて
セッションレポートやイベント情報を随時公開しています！
ぜひナレッジコミュニケーションDAIS2025 特設サイトからチェックしてみてください！
