レイクハウスとは？データウェアハウス、データレイクとの違いを解説

レイクハウスとは

現代のビジネス環境では、データの活用は非常に重要であり、多くの企業がどのようにデータ分析基盤を構築すべきかを真剣に考えています。その中で、レイクハウスという新しい選択肢が注目を集めています。レイクハウスを使うことで、企業は構造化されたデータや非構造化データを一つのプラットフォームで管理することが可能となり、これによりビジネスインテリジェンス（BI）によるデータの可視化や集計だけでなく、AIを活用した分析も行うことができます。

この記事では、レイクハウスの基本的な概念、従来のデータ管理技術との違い、そしてレイクハウスが提供するメリットについて解説しています。

レイクハウスとは

レイクハウスは、データウェアハウスとデータレイクの両方の機能とアーキテクチャを統合した、新しいタイプのデータアーキテクチャです。通常クラウドベースの単一プラットフォーム上に展開されるこのアーキテクチャによって、従来のデータ管理システムにおける冗長性を削減し、効率的なデータ管理と分析が可能になります。
データウェアハウスデータプラットフォーム

レイクハウスが注目される背景

データウェアハウス（DWH）とは

企業や組織が膨大な量のデータを統合的に管理し、分析するためデータウェアハウス（DWH）が利用されてきました。
DWHでは、販売データ、顧客情報、市場のデータなど様々なデータを集約し、分析しやすいように整理・標準化（構造化）をしたうえで、ビジネスで活用をします。
データの構造を予め定義し大量のデータ分析の技術を利用するため、対象のデータが複雑・多量でも高いパフォーマンスで分析ができます。
主にBIでのデータ可視化に利用され、ビ企業の意思決定を支援します。
ただし、整理・標準化されたデータ以外の分析が難しい、データソースの追加や変更に時間がかかるといったデメリットも存在します。

データレイク（Data Lake）とは

データレイクは、さまざまな形式の大量データをその原形のまま保存・管理するシステムです。構造化データだけでなく、JSONやXMLの半構造化データ、画像や動画などの非構造化データも保存します。データ分析時には「スキーマオンリード」というアプローチを取り、データを読み出す際にスキーマを適用します。これによりデータ活用における制約が少なくなります。データは主にクラウドの低コストなストレージに保存され、機械学習やデータサイエンスに適しています。しかし、データ活用には高いリテラシが求めらえ点や、データの品質の維持・整合性確保のために追加の作業が必要となることが多い点がデメリットとしてあげられます。

レイクハウスの登場

データウェアハウスとデータレイクを個別にではなく、一つのアーキテクチャとして統合するアプローチとしてレイクハウスが登場しました。これは、データウェアハウスの高いパフォーマンスとデータの整合性、データレイクの柔軟性と低コストなどの長所を組み合わせたものです。レイクハウスにより、構造化データと非構造化データの一元管理が可能となり、ビジネスインテリジェンスやAIを含む幅広いデータ活用が実現します。

レイクハウスの特長

データを統合

データレイクではあらゆるデータを統合して利用できます

構造データにも非構造データにも対応

構造化データ・半構造化データ・非構造化データのすべてを統合的に扱うことが可能です。様々なデータソースからの情報を一元的に分析し、より包括的なビジネスインサイトを得ることが可能です。

BIとしてもAIとしても利用可能

レイクハウスは高速なデータ処理能力を備えており、ビジネスインテリジェンス（BI）で可視化を目的とした整形データのクエリ実行はもちろんく、AIや機械学習を行う大量データ分析をすることも可能です。多様なデータ活用シナリオに適応します。

バッチ・ストリーミング

レイクハウスはバッチ処理されるデータと、リアルタイムに生成されるストリーミングデータの両方を対象とすることができます。即時の分析もデータ蓄積をもとにした分析もサポートし、多様なビジネスニーズに応えます。

データ管理の一元化

ACIDトランザクション

レイクハウスアーキテクチャでは、ACIDトランザクション（原子性、一貫性、隔離性、耐久性）をサポートしています。これにより、データの整合性と信頼性が確保され、システムの障害やエラーが発生してもデータの安全性が保たれます。ACIDトランザクションは、特に大規模で複雑なデータセットを取り扱う場合に重要で、データの一貫性と正確性を維持します。

データのアクセス制御

レイクハウスでは多くの場合、データへのアクセス権限の管理、ユーザー認証、データのセキュリティ保護などの、データのアクセス制御が提供されます。適切なアクセス制御により、権限のないユーザーからデータを保護しデータの漏洩や不正アクセスを防ぎます。

データカタログ

レイクハウスにはは、レイクハウス内のデータのメタデータ（データのデータ）を整理し、管理するデータカタログを提供するものも存在します。データカタログには、データの出所、形式、品質、利用履歴などが記録され、これによりユーザーは必要なデータを容易に見つけ出し、利用することができます。

コストの最適化

コンピュートとストレージを分離し、コストを最適化

レイクハウスアーキテクチャでは、分析リソース（コンピュート）とデータ保存リソース（ストレージ）を分離しています。分析はビジネスニーズに沿って実行した分だけ、データ保存は安価なクラウドストレージを中心に使用することでコストを最適化し、需要に基づいてコスト最適化・スケーリングが可能になります。

オープンなファイル形式のため、他のデータ活用への制約もない

レイクハウスではオープンフォーマットを採用しているため、他のシステムやツールとの互換性が高く、データの可移植性が確保されています。データのロックインがなく、必要に応じて自社ツールやシステムとの連携もできるため、データの活用範囲が広がります。
データレイクハウスプラットフォーム

DWHやデータレイクとデータレイクハウスの違い

拡張性×〇〇用途BIなどによるデータ分析・可視化など機械学習などによるデータ分析・自動化などあらゆる用途での活用が可能

DWH データレイク データレイクハウス
取り扱えるデータ 構造化データ 非構造化データ 構造化データ・非構造化データ
コスト × 〇 〇～△
データ信頼性 〇 × 〇

レイクハウスの主要サービス

Databricks

Databricksはレイクハウスアーキテクチャのパイオニアであり、そのプラットフォームはデータとAIの統合に焦点を当てています。このプラットフォームでは、データの系統、品質、制御、およびデータプライバシーがAIワークフロー全体で維持され、AIユースケースを実現するための完全なツールセットが提供されます。Databricksは、データの統合、ガバナンス、データウェアハウジング、ETL、データ共有、オーケストレーションなどの幅広いユースケースに対応しています。また、Databricksは業界をリードするAIとリアルタイムアナリティクス、データエンジニアリング、データサイエンスのソリューションを提供し、リクルートや日本経済新聞社、カルビーなど多くの大手企業がDatabricksを利用しています。
Databricksについて詳しくはこちら >

Microsoft Fabric

Microsoft Fabricは、最新のレイクハウスソリューションで、SaaSサービスとして利用ができます。Power BI、Azure Synapse、Azure Data Factoryなどの既存のMicrosoft製品と統合されており、データエンジニアリング、データファクトリ、データサイエンス、データウェアハウス、リアルタイム分析などの様々な機能を一つのプラットフォームで提供しています​​。Microsoft FabricはOneLakeと呼ばれる一元化されたデータストレージを提供します。これにより、データサイロを排除し、ポリシーとセキュリティ設定の一貫性を保ちながら、データの発見と共有を容易にします​​。

レイクハウスを導入する方法

それでは、具体的にどのような流れでレイクハウスを導入することができるのでしょうか。以下では「Azure Databricks」を例に、そのプラットフォーム導入方法を紹介します。

Azure Databricks レイクハウスプラットフォーム

AzureであればすぐにDatabricksを導入できる。

「Azure Databricks」はAzureポータルにアクセスし、AzureサービスよりAzure Databricksを選択することでを簡単に利用をすることができます。

Azure Data Lake Azure Data Factory連携

設定画面にてワークスペース名やリージョンなどを設定すればすぐに環境のデプロイが始まります。

Azure Data Lake Azure Data Factory連携

環境のデプロイは数十秒～数分で完了します。その後Azure Databricksのワークスペースを起動すれば、すぐに利用を開始できます。

Azure Data Lake Azure Data Factory連携

Azure Databricksの詳細についてはこちらの資料もご参照ください。
Azure Data Bricks
概要資料をダウンロードする

 

まとめ

この記事では、データ活用に最適なレイクハウスという選択肢についてご紹介しました。一元的なデータ活用基盤を提供するレイクハウスは、データの可視化や分析を実現したい企業にとって有力な選択肢となります。データ分析基盤を構築するためにはインフラの準備など様々な苦労がありますが、Azure Databricksを利用することで簡単にDatabricksの利用を始めることができるでしょう。

この記事を書いた人

Azure支援デスク 管理者
Azure支援デスク 管理者
双日テックイノベーション（旧：日商エレクトロニクス）特設サイト「Azure導入支援デスク」サイトマスターです。