Microsoft Fabricのウェアハウスとレイクハウスの違いとは？

１．はじめに

「ウェアハウス」と「レイクハウス」は、ともにデータを格納することができるアイテムです。
では、どのように使い分ければ良いでしょうか。
次章以降でそれぞれの概要をご紹介します。

※今回はもう一つの格納先であるKQLデータベースについては記載していません。

２．ウェアハウスとは

ウェアハウスは構造化データ（行と列のテーブル形式）の保存とクエリ実行に特化したデータストレージです。
Power BIなどのBIツールと連携し、レポートやダッシュボードを作成するために最適化されたデータを格納する際に使用されるなど、クエリを高速に処理することに優れたデータベースシステムです。
テーブルに格納されたデータは、Transact-SQLによるINSERT、UPDATE、DELETE文を使用した処理が可能です。
ただしMERGE文は使用できないという制限があります。
ウェアハウスにデータを連携する際には、Transact-SQL以外にも、Fabricのアイテムであるパイプライン、データフローを使用することができます。

３．レイクハウスとは

ウェアハウスが構造化データのみ保存可能なのに対して、レイクハウスでは構造化データだけではなく、半構造化データ（JSON、XML、ログファイル）、非構造化データ（画像、動画）を含むさまざまな形式のデータを保存することができます。
レイクハウスは多様なデータ形式に対応できるため、ビッグデータの処理に適しています。
SQL分析エンドポイントからはデータを参照するSQLを実行することができますが、DML文（INSERT、UPDATE、DELETE）の完全サポートはされていません。
そのため、テーブルに格納されたデータをSQLで更新することはできません。
レイクハウスでデータを加工／更新する場合は、一般的にノートブックでPythonを利用し、データフレームを用いて処理を行います。
PythonではINSERT、UPDATE、DELETE、MERGE文の使用が可能です。
また、ウェアハウスと同様に、データの連携にはFabricのアイテムであるパイプラインやデータフローを使用することができます。

４．メダリオンアーキテクチャとの関係

メダリオンアーキテクチャとは、データを段階的に管理・処理するためのアプローチです。
段階を三層（ブロンズ層、シルバー層、ゴールド層）で表現し、各階層には以下の特長があります。

このアーキテクチャを採用してデータを管理する場合、レイクハウス、ウェアハウスはどこで使用するのが最適か、以下の表で説明します。

５．特長の整理

ここまでの説明をふまえ、ウェアハウスとレイクハウスの特長をまとめると以下のようになります。

６．おわりに

こうして整理してみると、ウェアハウスは、定型レポート、ダッシュボード作成、データの高い整合性と信頼性が求められる業務アプリケーションに、レイクハウスは、データサイエンス、機械学習、ビッグデータ分析に向いていると言えるでしょう。

今回紹介した情報がMicrosoft Fabricをご利用になる際に、少しでもお役に立てば幸いです。

システムエグゼでは、データ分析プラットフォーム構築サービスを展開しています。
企業向けのSaaS型オールインワン分析サービスであるMicrosoft Fabricを含めたAzureの導入をご検討の際には、システムエグゼまでお気軽にご相談ください。