1. はじめに

Databricks Data + AI Summit 2025の3日目では、統合されたエコシステムの拡張やインテリジェントなデータガバナンス機能の進化など、重要な発表が続きました。以下は、キーノートの注目ポイントです。

2. Databricks x Microsoft の戦略的提携

Databricksは、Power Apps、Power Automate、Copilot Studio に対応するネイティブコネクタを正式発表。ユーザーはリアルタイムかつ安全に、手動のスクリプトなしでDatabricksデータへアクセス可能になります。

主なメリット：

  • セキュリティ準拠：Entra ID OAuthおよびサービスプリンシパルによる認証統合

  • データコピー不要：データの読み書きを直接実行可能

  • リアルタイム同期：各プラットフォーム間でシームレスにデータ更新

  • AIエージェント統合：DatabricksのデータをCopilotのナレッジとして活用可能

活用例：

  • Power Apps：データ駆動型アプリの構築（例：店舗レイアウト最適化）

  • Power Automate：リアルタイムデータを用いた業務自動化（例：労働安全モニタリング）

  • Copilot Studio：Databricksデータを使って文脈を理解するAIエージェントを作成

3. Unity Catalog

3.1 Apache Iceberg の完全サポート

DatabricksはUnity Catalogを強化し、以下に対応：

  • Databricksまたは他のIceberg互換エンジンから、Iceberg REST Catalog API経由でマネージドIcebergテーブルの読み書き

  • AWS Glue、Hive Metastore、Snowflake Horizonなど外部のIcebergテーブル統合

Iceberg Managed Table（パブリックプレビュー）の紹介：

  • SQL構文による簡単な作成：CREATE TABLE name USING ICEBERG

  • Snowflake、HMS、Glueなど、任意のIcebergエンジンからアクセス可能

3.2 ビジネスユーザー向けのUnity Catalogの拡張

現状の課題：

  • 各部門が異なるKPI定義を使用 → 結果が不一致

  • データオーナー不在、監査・リネージなし

  • KPIの再利用・共有が困難（BI・MLツール間）

解決策 – Unity Catalog Metric：

  • 企業全体での唯一の信頼できるKPIソース（SSOT）

  • SQLやBIツールからの高性能クエリ対応

  • 厳格な認証とガバナンスを実現

改善のビフォーアフター：

  • 以前：同じ質問に対して部署ごとに異なる回答

  • 今後：統一された答えを全社で共有・活用可能

4. Lakeflow – あらゆるデータに対応する次世代ETL

Databricksは、より迅速かつ信頼性の高いパイプライン構築を可能にする統合ETLソリューション「Lakeflow」を発表。

主な特徴：

  • Lakeflow Connect：多様なデータソースへの接続を拡張

  • Lakeflow Connect Zerobus：メッセージバス（IoT、テレメトリ、クリックストリーム）から中間システムなしでDatabricksへ直接データ転送

  • Declarative Pipelines：マルチコンピュート対応の新しいGUIエディタ。OSS化予定

  • Lakeflow Designer：ノーコードでETLを設計できるビジュアルツール

差別化ポイント：

  1. AI支援：自然言語処理・画像認識を活用

  2. プロダクション対応：ノーコードとコードベースの環境をシームレス統合

  3. 一貫したガバナンス：データの複製やガバナンスの断片化を防止

5. 次世代データウェアハウス

Databricksは、新世代のData Warehouseを発表：

  • パフォーマンス25%向上

  • コスト増ゼロ（0% more expensive）
    より効率的で経済的、あらゆる分析規模に対応可能な設計。

6. Databricks SQL – すべてのニーズに応える最新SQL

6.1 Databrick SQLによるETLの最適化：

  • Stored Procedures & SQL Scripting（パブリックプレビュー）：ANSI SQL/PSM標準の条件分岐、ループ、例外処理に対応

  • Temporary Tables（プライベートプレビュー）：中間処理の一時テーブルを自動削除

  • Multi-statement Transactions（プライベートプレビュー）：複数ステートメントによるトランザクション対応

6.2 包括的な移行ツール – Lakebridge（2025年2月GA予定）：

  • DatabricksはDWH移行専門のBladeBridgeを買収

  • Lakebridge Toolkitを発表：

    • Analyzer：既存DWHの評価

    • Converter：Stored ProcedureやETLロジックを自動でDatabricks SQLへ変換

    • Validator：内蔵の整合性チェックツールでデータ検証

7. AI/BIの未来 – Genieで進化する分析体験

7.1 Genieがダッシュボードを次のステージへ：

  • 中断なしの体験：その場で質問し、即時に回答を得る

  • より深い洞察：要因分析、未来予測、「なぜ？」「もし〜なら？」の問いに対応

  • 分析の加速：欠損情報を自動補完し、分析を迅速に完了

7.2 Genie + Deep Research = セマンティックな知性

  • 従来の課題：設定が複雑、権限不足、マニュアルが煩雑

  • 新しい解決策：Knowledge Store

  • フォーム入力だけでGenieが利用するデータにセマンティックな文脈を追加可能

  • カラムの別名や意味、よく使うSQLをプログラミング不要で定義可能

8. Databricks One – データをすべての人の手に

課題：
多くの人がDatabricksを技術者専用ツールと見なし、ビジネス現場と距離を感じている。

ビジョン：
現場から経営層まで、すべての人にとってのデータの出発点に。

解決策：
Databricks One – 非技術者にも使いやすい直感的なUIとUXを備え、誰もが毎日データにアクセス・理解・活用できる環境を提供。

9. Databricks x Google Cloud – Gemini AI をネイティブ統合

Databricksは、Googleの対話型AI「Gemini」のネイティブ統合を発表。Databricks環境で直接AI対話の力を活用可能に。

10. まとめ

Databricks Data + AI Summit 2025 の3日目では、AI、データガバナンス、ETL、BIの各分野において、Databricksが一層進化を遂げていることが明らかになりました。特に、MicrosoftやGoogleとの提携、Unity Catalogの拡張、そしてLakeflowやGenieといった新機能により、ビジネス部門を含む全社的なデータ活用がさらに加速することが期待されます。

今後も、データとAIの活用を組織全体に広げるためには、最新の技術動向を把握し、現場での実践に落とし込むことが重要です。ぜひ今回の内容を、貴社のデータ戦略の一助としてご活用ください。

双日テックイノベーションでは、Azure Databricks をはじめとするデータ基盤構築・活用に関する支援を提供しております。ご興味のある方は、ぜひお気軽にご相談ください

Azure DatabricksやAzure活用、マイクロソフト製品の活用についてご相談事がありましたらぜひお問い合わせください！

Azure Databricks連載記事のまとめはこちら
お問い合わせはこちら

この記事を読んだ方へのオススメコンテンツはこちら

アセスメントサービス

この記事を書いた人

Azure支援デスク 管理者
Azure支援デスク 管理者
双日テックイノベーション（旧：日商エレクトロニクス）特設サイト「Azure導入支援デスク」サイトマスターです。