DWH比較で迷う前に。データ基盤を選ぶ5つの判断軸

本記事のポイント

    1. 3製品とも機能はそろっており、「できること」では差がつかない
    2. 選定で見るのは、主な利用者、既存の環境、技術の方向、注力する用途、管理の範囲の5つ
    3. 5つに順位を付ければ、上位2つで結論が出ることが多い
    4. 1つに絞る必要はなく、用途ごとに使い分ける構成も選べる

Databricks、Snowflake、Microsoft Fabric。データ基盤の主要な製品について、情報収集はすでに終えているという企業は多いはずです。各社のWebサイトを読み、比較記事に目を通し、セミナーにも参加した。それでも自社にとっての答えが見えない。足りないのは情報ではなく、判断軸です。製品の仕様をいくら細かく比べても、自社が何を基準に選ぶかが決まっていなければ、結論は出ません。

データ活用基盤に関する実態調査データ活用基盤の実態調査で他社の課題と比較する
無料の調査レポートを読む▶

 


 

1. 3製品の位置づけ

Databricks

Apache Spark を基盤とした製品です。データの取り込みと加工、機械学習の開発と運用に使われてきました。Python や SQL でのデータ処理に加え、Databricks SQL、SQLエディター、ダッシュボード、サーバーレスの SQL ウェアハウスも備えています。AWS、Azure、Google Cloud に対応しています。

Snowflake

SaaS として提供される製品です。計算資源と保存領域が分かれた構成で、処理の量に応じて計算資源を増減できます。構造化データに加え、半構造化データと非構造化データも扱います。Snowpark を使えば Python などのコードによる処理も行えます。AI と機械学習の機能も提供しています。組織をまたいでデータを共有する機能があります。AWS、Azure、Google Cloud に対応しています。

Microsoft Fabric

Azure 基盤の SaaS です。Power BI と Microsoft 365 との連携が組み込まれています。画面操作でデータ処理を組み立てられるほか、PySpark、Spark SQL、Python を使うノートブックも備えています。ショートカットを使えば、Amazon S3 や Google Cloud Storage 上のデータも参照できます。

Databricks Snowflake Microsoft Fabric
提供の形態 各クラウド上のマネージドサービス SaaS SaaS
動作するクラウド AWS、Azure、Google Cloud AWS、Azure、Google Cloud Azure
他クラウドのデータの参照 各クラウドのストレージに対応 各クラウドのストレージに対応 ショートカットで S3、Google Cloud Storage を参照
コードによる処理 Python、SQL、Scala など Snowpark（Python など） ノートブック（PySpark、Spark SQL、Python）
SQLによる分析 Databricks SQL 標準機能 SQL 分析エンドポイント
画面操作での構築 ノートブックとジョブの画面 画面とワークシート Data Factory、Dataflow
BIとの関係 各種BIツールと接続。使うBIツールを選べる 各種BIツールと接続。使うBIツールを選べる Power BI が同じ基盤に含まれる。BIツールを別に契約しなくてよい

 

💡STech I ワンポイントアドバイス

3製品はいずれも、コード、SQL、画面操作のすべてを扱えます。「この製品はコードを書く人向け」という区分は、現在の機能には当てはまりません。比較するのは、できるかどうかではなく、自社の担当者がどの方法をすでに使えるか、どの方法で運用を続けられるかです。

 

2. 5つの判断軸

製品の位置づけを踏まえたうえで、自社にとっての答えを見つける判断軸を5つ挙げます。

主な利用者は誰か

データ基盤を日常的に使うのが誰かによって、選ぶ基準が変わります。

確認するのは、その人たちが現在どの方法でデータを扱っているかです。Python でのデータ処理を日常的に行っているのか、SQL で集計しているのか、BIツールの画面で操作しているのか。3製品ともすべての方法を扱えますが、既存の資産と習熟度の分だけ、移行の負担が変わります。

既存の環境

すでに自社が使っている製品との関係が、導入と運用の手間に影響します。

Microsoft 365 と Power BI を全社で使っているのであれば、Fabric は同じ管理画面と権限のしくみに乗ります。複数のクラウドにデータが分散しているのであれば、いずれの製品でも参照はできますが、データの転送にかかる費用と時間を試算しておきます。

組織の技術の方向性

現在のスキルだけでなく、今後どの方向に人を育てるかも判断材料になります。

コードでの処理を内製で広げたいのか、SQL を書ける人を増やしたいのか、画面操作で完結する範囲を広げたいのか。方向性が決まっていれば、その方法の運用実績が長い製品を選ぶという判断ができます。

注力する用途

今後どの用途に力を入れるかを決めてから、製品の機能と照らします。

機械学習モデルの開発と運用を増やすのか。全社のBI分析を統合するのか。組織をまたいだデータの共有を行うのか。3製品とも複数の用途に対応していますが、用途によっては機能の成熟度や運用の情報量に差が出ます。導入を検討している用途について、公開されている事例と技術情報の量を確認してください。

基盤の管理をどこまで自社で持つか

計算資源の設定やチューニングを自社で行いたいか、提供元に任せたいかで、選ぶ構成が変わります。

自社で細かく設定したい場合は、クラスターの構成やライブラリの管理まで手を入れられる形が向きます。運用の負担を減らしたい場合は、計算資源の管理を提供元に任せる形を選びます。3製品とも、この両方の構成を選べる場合があるため、対象のプランで何ができるかを確認します。

5つの判断軸

 

💡STech I ワンポイントアドバイス

5つの軸に順位を付けてから比較を始めてください。すべてを同時に満たす製品はありません。関係者で並べ替えたうえで、上位2つの軸だけで判断がつくかを見ます。

 

3. 製品の周辺で得られるものも比べる

5つの軸で順位を付けても結論が出ない場合、製品そのものの機能では差がついていません。次に比べるのは、その製品の周辺で得られるものです。当社が確認しているのは4点です。

  • 既存のツールとどこまで連携できるか
  • その製品を扱える技術者を、採用または委託で確保できるか
  • 日本語を含む技術情報がどれだけ公開されているか
  • 導入と運用を支援する事業者が国内にいるか

導入した時点で使えることと、5年後も運用を続けられることは別です。担当者が入れ替わったとき、この4点が運用の続けやすさを決めます。

費用と契約の条件も、この段階で確かめます。最低利用量、期間の縛り、利用量が増えたときの単価の変わり方は、製品の機能の比較表には出てきません。

＼さらに詳細な主要5製品の比較はこちら／

DBリプレイスから始める AI時代のデータ基盤設計（構想）ソリューション比較表付き
データ基盤設計の資料を読む▶

 

4. 1つに絞らない選択肢

判断軸を並べても、1つに決まらないことがあります。用途によって求めるものが違うためです。

複数の製品を用途ごとに使い分ける構成は、判断を先送りした結果ではありません。機械学習の開発で求められるものと、全社のBI分析で求められるものは違います。用途ごとに向く製品が違う以上、使い分けは設計の結論のひとつです。

ただし使い分ける場合は、どちらの製品にどのデータを置くかを先に決めます。同じデータを両方に複製すると、更新のたびに差が生まれ、どちらが正しいか分からなくなります。データの保存先を1か所にして、両方から参照する構成にするか、複製する場合はどちらを正とするかを決めておきます。この設計を後回しにすると、製品ごとに違う数字が残り、部門ごとに分かれていた状態と同じことが起きます。

 

💡STech I ワンポイントアドバイス

使い分ける構成は、1つ目の契約が決まったあとで2つ目を検討する形になりがちです。1つ目を決める前に、2つ目を入れる可能性があるかどうかだけは関係者で確認してください。あとから足す場合、先に結んだ契約の最低利用量や期間が制約になります。

 

5. よくある質問

Q.　3製品のうち、最も優れているのはどれですか。
用途によります。機械学習の開発と運用、全社のBI分析、組織をまたいだデータ共有では、求められる機能が違います。自社が注力する用途を決めてから、その用途での機能と運用の情報量を比べてください。

Q.　検証はどの範囲で行えばよいですか。
実際に使う予定の用途を1つ選び、自社のデータで試します。製品が公開しているサンプルデータでは、自社のデータの量、項目の多さ、欠損の状態が反映されません。移行の手間が見えるのは、自社のデータを入れたときです。

Q.　途中で製品を変える場合、何が移せて何が移せませんか。
データそのものは、標準的な形式で保存していれば移せます。移せないのは、その製品固有の機能で組んだ処理と、権限の設定です。将来の変更に備えるなら、データの保存形式と、処理をどこまで製品固有の機能に依存させるかを、導入の時点で決めておきます。

 

6. まとめ

3製品はいずれも、コードによる処理、SQLによる分析、画面操作での構築を扱えます。できることの範囲で選ぶ段階は過ぎています。

決めるのは、自社の判断軸です。主な利用者は誰か、既存の環境は何か、組織の技術をどの方向に育てるか、どの用途に注力するか、基盤の管理をどこまで自社で持つか。この5つに順位を付ければ、比較の結論は出ます。

5つの軸のうち、上位2つで結論が出ることが多くあります。出ない場合は比較表に戻らず、製品の周辺で得られるものと、費用や契約の条件を確かめてください。
DBリプレイスから始める AI時代のデータ基盤設計（構想）AI時代のデータ基盤設計
無料の資料を読む▶

関連記事

この記事を書いた人

伊丹 優花
インフラ、Data＆AIのマーケティング担当