データレイクハウスとは？DWHとデータレイクを統合する考え方

企業のデータ基盤では、長らくデータレイクとデータウェアハウス（DWH）が別々の役割を担ってきました。

データレイクはあらゆる形式のデータを低い費用で保存できる一方、品質の管理とトランザクションの保証が弱く、置いたデータを誰も使わない状態になりがちです。また、DWHはSQLによる分析に向いていて信頼性も高いものの、扱えるのは構造化データが中心で、非構造化データや機械学習の処理には向きません。

この2つを別々に運用してきた結果、何が起きているか。同じデータを2か所で持つため保管の費用が増え、両者の間でデータを移す処理が増え、どちらの数字を使うかが部門ごとに分かれるという様々な問題が生じています。この分離が問題として表に出てきたのは、AI活用が本番の業務に入ってきたためです。

データレイクハウスについて詳しく見てみる
ブログを読む▶

1. レイクハウスとは何か

レイクハウスは、2020年に Databricks が提唱した構成です。データレイクの柔軟性とDWHの信頼性を、1つの基盤にまとめます。

技術的には、Amazon S3、Azure Data Lake Storage、Google Cloud Storage といったオブジェクトストレージの上に構築します。従来のデータレイクと違うのは、そこにDWH相当のトランザクション管理とデータ品質の保証を載せる点です。

その中心にあるのが Delta Lake というオープンソースの技術です。Delta Lake は、ACID トランザクションの管理、データのバージョン管理、過去の任意の時点のデータを参照する機能を提供します。これにより、データレイク上のデータでも、DWHと同じ信頼性で扱えます。

2. メダリオンアーキテクチャ

レイクハウスの実装で広く使われているのが、メダリオンアーキテクチャと呼ばれるデータの整理の方法です。データを Bronze、Silver、Gold の3段階に分けて管理します。

各層でデータ品質の制約を設定できるため、下流の分析やAIモデルに流れるデータの品質を段階的に確認できます。従来のデータレイクでは、この確認の仕組みを別に用意する必要がありました。

データレイクハウスの代表例Databricksの概要を確認
無料の資料を読む▶

3. Unity Catalog でガバナンスをそろえる

データを1つの基盤にまとめても、誰が何にアクセスできるかを管理する仕組みがなければ、使えるようになりません。Databricks の構成では、Unity Catalog がこの役割を担います。以下は Databricks の場合です。

Unity Catalog は、テーブルやビューといった構造化データに加え、画像、音声、PDFなどのファイル、AIモデルまでを1か所で管理します。誰がどのデータにアクセスできるかを細かく制御し、データの取り込みから変換、モデルの学習までの来歴をたどれます。

2024年6月、Databricks は Apache Iceberg の開発元である Tabular の買収を発表しました。2025年6月には、Unity Catalog を通じた Apache Iceberg への対応を発表しています。Delta Lake と Iceberg という2つの主要なテーブル形式を、同じ仕組みの上で扱えます。ただし Unity Catalog を経由しない構成では制約があるため、利用の前に対応の範囲を確認してください。

4. なぜ今、統合が必要なのか

レイクハウスという構成そのものは2020年からありますが、必要性が高まったのはAI活用が本番の業務に入ってきたためです。

生成AIや機械学習を本番で使うには、機械学習の処理、SQLによる分析、リアルタイムのストリーミング処理を同じ基盤で扱う必要があります。データレイクとDWHが分かれた状態では、AIモデルの学習に使うデータと、分析に使うデータが別々に管理されます。同じ指標について、両者で違う数字が出ることになります。

オブジェクトストレージの上にテーブル形式を載せる構成は、Microsoft Fabric の OneLake や Snowflake の Iceberg テーブルへの対応など、主要な製品でも採用されています。

5. よくある質問

Q.　既存のDWHは、どの範囲を移行しますか。
移行を検討するのは、同じデータを機械学習と分析の両方で使っている範囲です。SQLによる定型のレポートだけを扱っていて、機械学習の予定もない範囲は、現在の構成のままで支障が出ません。全体を移す必要はありません。

Q.　Delta Lake と Apache Iceberg は、どちらを選ぶべきですか。
いま使っている製品と、今後接続する予定の製品が対応している形式で決めます。Unity Catalog を使う場合は、両方の形式を同じ仕組みの上で扱えます。ただし対応の範囲は更新されるため、利用の前に確認してください。

Q.　メダリオンアーキテクチャの3層は、どこまで作りますか。
取り込んだままのデータと、整えたデータを分けるところまでは必要です。3層に分けるのは広く使われている方法ですが、決まりではありません。集計後のデータを別の層にするかどうかは、レポートの数と利用者の範囲で決めます。

6. まとめ

レイクハウスは、データレイクかDWHかという二者択一を終わらせる構成です。オープンな形式とオブジェクトストレージを基盤に、トランザクションの管理、データ品質の保証、アクセス権限の管理を1か所で行います。

機械学習、分析、ストリーミングを同じ基盤で扱えることが、AI活用を進めるうえでの条件になっています。自社のデータ基盤がデータレイクとDWHの二重運用になっていないか、両者をつなぐ処理が何本あるかを確認してください。

Azure Databiricksの資料概要
無料の資料を読む▶

7. 出典

• レイクハウスは2020年に Databricks が提唱。
• Delta Lake は ACID トランザクションの管理、バージョン管理、過去の時点の参照を提供。
• 出典： Databricks の公開情報および Delta Lake の公式ドキュメント。
• Databricks は2024年6月に Tabular を買収。Tabular は Apache Iceberg の開発元。
• 2025年6月、Unity Catalog を通じた Apache Iceberg への対応を発表。
• 出典： Databricks の発表。
• メダリオンアーキテクチャの3層（Bronze、Silver、Gold）と、各層でのデータ品質の制約。
• 出典： Databricks の公式ドキュメント「メダリオンレイクハウスアーキテクチャとは」および Delta Live Tables の期待値（expectations）のページ。
• オブジェクトストレージの上にテーブル形式を載せる構成は、Microsoft Fabric と Snowflake でも採られている。
• Microsoft Fabric の OneLake は、表形式のデータを Delta Parquet 形式で保存。出典： Microsoft Learn「OneLake とは」。
• Snowflake は、外部ボリュームを通じて Amazon S3、Google Cloud Storage、Azure Storage 上の Apache Iceberg テーブルを扱える。出典： Snowflake の公式ドキュメント「Apache Iceberg tables」および「Configure an external volume」。

関連記事

DWH比較で迷う前に｜データ基盤を選ぶ5つの判断軸

本記事のポイント 3製品とも機能はそろっ [&helli...

部門ごとに売上の定義が違う｜分析の前提を揃えるデータ品質管理

本記事のポイント 同じ「配達完了」でも、 [&helli...

AI活用がデータ整備で止まる理由と、範囲を絞って進める方法

この記事を書いた人 伊丹 優花 インフラ [&helli...