なぜ多くの大企業がDatabricksを選ぶのか

本記事のポイント

    1. Databricksは、分析基盤とAI基盤を分けず、共通のデータと権限管理を用いて両者を運用できる
    2. Delta Lakeなどのオープンな技術を使えるため、データを独自形式だけに閉じ込めない構成を選べる
    3. 導入効果は製品名では決まらず、統合する業務とデータ、移行後の運用責任を先に決める必要がある

Databricksが大企業に選ばれる理由は、単に大量のデータを速く処理できるからではありません。Databricksでは、分析、データエンジニアリング、機械学習、生成AIで、共通のデータとガバナンスの仕組みを利用できます。また、将来ほかのサービスとの連携や移行を検討しやすいように、オープンな形式でデータを保存できます。本記事で紹介する特徴と導入事例を、自社のシステム構成や運用方法と照らし合わせることで、Databricksが自社に向くかを判断できます。

>> Azure環境でご検討中の方はこちら

Azure Databricksの概要資料Azure Databricksの概要資料
無料の資料を読む▶

 


 

1. 大企業がDatabricksを選ぶ5つの理由


理由1 データをオープンな形式で保存できる

大企業のデータ基盤は、導入後に長期間使われます。そのため、現在の機能だけでなく、将来、別のサービスと接続できるか、データを移せるかも選定条件になります。

Databricksでは、Delta Lakeのようなオープンソース技術や、Parquet形式を使ってデータを管理できます。特定の製品だけで読み取れる形式にデータを閉じ込めず、バッチ処理とストリーミング処理のどちらからも同じデータを利用する構成を選べます。また、Delta Lakeに対応する別のクライアントから読み書きする構成も可能です。

このように、データそのものを特定の製品に依存しない形で管理できるため、将来、別のサービスとの連携やデータ基盤の見直しが必要になった場合も、データを活かしながら移行方法を検討できます。

一方、オープンな形式でデータを保存しても、処理や権限設定まで自動的に引き継がれるわけではありません。Databricks固有の機能で作ったジョブ、ノートブック、運用手順は、移行先に合わせて作り直す必要があります。また、利用するクライアントによって対応するDeltaのプロトコルやテーブル機能が異なるため、相互運用する場合は、対応範囲を先に確認します。

理由2 データ処理から分析・AIまでを一つの基盤で扱える

企業のデータ活用では、データの取り込みと加工、DWH、BI、機械学習、生成AIを別々の製品で構築することがあります。製品が分かれるほど、同じデータを移動・複製する処理、監視する画面、障害時の切り分け先が増えます。

Databricksは、データエンジニアリング、SQL分析、機械学習、AIアプリケーションを1つのプラットフォームで扱えます。用途ごとのデータ複製を減らせれば、データ移動の遅延や運用費を抑え、製品ごとに分散していたセキュリティ設定の管理負担も減らせます。ただし、BI向けの抽出データや外部システムへ渡すデータなど、性能や接続先の要件によっては複製が必要な場合もあります。

理由3 データとAIを共通のルールで管理できる

大企業でAIを本番利用するには、モデルの性能だけでなく、利用するデータ、アクセス権、データの来歴、AIの出力をどう確認するかも管理する必要があります。

Unity Catalogは、テーブルやファイルに加え、AIモデルや関数も対象に、アクセス制御、データの来歴、監査ログを共通のルールで管理できます。金融や医療など規制のある業界でも、自社の要件に沿った管理を設計しやすくなります。

ただし、認証、ネットワークの分離方法、データを保存できる地域などは企業ごとに異なるため、Unity Catalogを導入するだけで要件を満たせるとは限りません。

理由4 AIの開発から業務利用まで、共通のデータを活用できる

Databricksでは、機械学習モデルや生成AIアプリケーションを開発・運用できます。業務利用者が自然文でデータに質問するGenieも同じデータ基盤上で利用できるため、AIの開発と業務利用を共通の環境で進められます。Unity Catalogで管理するデータと権限を利用するため、AI専用のデータ基盤を別に用意せず、既存データを活用できます。

ただし、自然文で質問できても、回答が常に正しいとは限りません。Genie Agentsでは、使用するデータ、指標、業務ルール、確認済みの質問例を設定し、回答を評価します。導入前に、使用するデータと回答品質の管理者を決める必要があります。

理由5 既存環境と併用しながら段階的に導入できる

DatabricksはAWS、Azure、Google Cloudで提供され、各クラウドのストレージやネットワークと接続できます。そのため、既存のDWHやBIを残し、データの移行範囲を限定して、既存環境と併用しながら利用を始められます。

最初は特定の分析や機械学習の処理だけを対象にし、既存システムの結果と比較しながら効果を確認できます。対象を限定して進めることで、問題が起きた際の影響範囲を抑え、検証結果を踏まえて段階的に利用範囲を広げられます。これは、大企業が導入リスクを抑える方法の一つです。

ただし、接続方式、ネットワーク、権限設定などは既存環境によって異なるため、対象範囲と運用方法を先に確認します。

 

💡STech I ワンポイントアドバイス

製品比較の前に、現在のデータ基盤にあるデータ複製、製品間の接続、製品別の権限設定を一覧にしてください。Databricksへ統合する価値は、Databricksの機能数ではなく、この3つをどこまで集約できるかで判断できます。

 

2. Databricksが向いている企業、慎重に検討すべき企業


企業の状況 Databricksが向く理由 導入前に確認すること
分析と機械学習で同じデータを使う データエンジニアリング、SQL、機械学習を同じ基盤で扱える 各チームの開発・運用責任を誰が持つか
バッチとストリーミングの両方がある Delta Lake上の同じデータを両方の処理から利用できる 遅延要件と費用の上限
複数部門でデータとAIを利用する Unity Catalogでアクセス制御と来歴をまとめられる データ所有者と承認手順
特定製品への依存を抑えたい オープンなテーブル形式を選べる 固有機能で作る処理の範囲
既存DWHと段階的に併用したい 業務単位で移行し、既存BIとの併用も可能 基準とするデータ(正本)をどちらに置くか
データを置く地域やネットワークに制約がある クラシックとサーバーレスから実行方式を検討できる 利用クラウドごとの保存先、処理場所、通信経路

クラシックコンピュートは利用企業のクラウドアカウントで動き、サーバーレスコンピュートはDatabricksが管理する環境で動きます。データを置く地域やネットワークに制約がある場合は、処理を実行する場所と、利用企業・Databricksのどちらが管理するかを確認してください。

一方、SQLによる定型レポートだけが中心で、機械学習やストリーミングを予定していない企業では、Databricksの機能を使い切れず持て余してしまう可能性があります。高度な利用用途や設計の自由度が必要ない場合には、運用の簡便さや既存ライセンスとの関係を含め、ほかのデータ基盤も比較すべきです。

 

3. 導入企業はDatabricksを何に使っているか


Databricksの公開資料と、Databricksが委託した第三者調査には、データとAIを事業上の判断や業務処理に組み込んだ事例が掲載されています。

航空会社の運航判断

JetBlueは、航空機の運航を再現するデジタルツインを構築しています。天候や技術上の問題による混乱を予測し、運航担当者が対応を検討するために利用しています。

通信事業者の不正対策

AT&Tは、複数の機械学習モデルからリアルタイムのアラートと推奨を生成し、コールセンター、店舗、デジタルチャネルをまたいだ不正対策に利用しています。Databricksの公開資料によれば、攻撃を最大80%削減したとされています。ただし、同資料には測定期間や攻撃の定義など、数値を比較するための詳しい条件は示されていません。

事例と同じ成果が得られるとは限りませんが、分析結果の提示にとどまらず、業務上の判断や対応に結び付けている点は参考になります。

\当社導入事例はこちら/

東洋製罐グループホールディングスがDatabricksを選んだ理由東洋製罐グループホールディングスがDatabricksを選んだ理由
無料の資料を読む▶

Databricks以外も含めたデータ基盤の選定軸は、次の記事で確認できます。

 

4. 導入前に確認すること


Databricksの導入前には、製品機能と併せて次の4点も確認します。

  1. 最初に移行する業務と、そこで解決する課題
  2. 基準とするデータ(正本)の保存先
  3. データ、処理、AIモデルの所有者
  4. 成果を測る指標と、既存環境との比較方法

分析とAIで同じデータを使っている業務は、最初の対象に適しています。統合による効果を確認しやすく、既存環境と新環境の結果も比較できます。反対に、全社のデータを最初から集める計画では、調整する関係者が増え、権限設計も複雑になります。効果を確認する前にプロジェクトが長期化するおそれがあります。

 

💡STech I ワンポイントアドバイス

PoCでは処理速度だけでなく、既存環境と同じ数字が出るか、権限変更を誰が行うか、障害時に誰が切り分けるかまで確認してください。これらを確認すると、本番移行後の運用負担を見積もれます。

 

5. よくある質問


Q. オープンな形式なら、将来すぐに他製品へ移行できますか。
データを読み出せることと、基盤全体を短期間で移行できることは別です。ノートブック、ジョブ、権限、監視、運用手順は別途移行する必要があります。導入時に製品固有機能の利用範囲を記録しておくと、将来の移行工数を見積もりやすくなります。

Q. データはすべて自社のクラウド環境に残りますか。
構成によります。クラシックコンピュートは利用企業のクラウドアカウントで動きますが、サーバーレスコンピュートはDatabricksが管理する環境で動きます。保存先、処理場所、通信経路を分けて確認してください。

Q. 小さく始める場合、どこから着手しますか。
分析と機械学習の両方で同じデータを使っている業務が候補です。対象データと利用者を限定し、既存環境と並行して結果を比較します。

 

6. まとめ


大企業がDatabricksを選ぶ理由は、データとAIの取り組みを同じ基盤で進められることです。オープンな形式、共通のガバナンス、用途に応じた実行環境を選べることや、段階的に移行できることも、全社基盤の条件に合います。

選定では機能数ではなく、自社で分断しているデータと処理をどこまで統合できるかを確認します。基盤運用部門では費用と作業をどれだけ減らせるか、業務部門ではデータが届くまでの時間をどれだけ短縮できるか、データ管理では権限上のリスクをどこまで抑えられるかを見積もります。Databricksの価値は、データ管理の効率化にとどまらず、同じデータを分析とAIから利用し、業務の判断につなげるところにあります。

> Databricksに関する情報をもっと知りたい方はこちら

関連記事:

 

7. 出典


詳細は以下の公式ページよりご確認ください。

この記事を書いた人

伊丹 優花
インフラ、Data&AIのマーケティング担当