Fabric で medallion アーキテクチャを実装する
medallion アーキテクチャについてしっかりとした理解が得られたので、Fabric 内でこれを動作させる方法を見てみましょう。
基盤の設定: Fabric レイクハウスを作成する。 複数の medallion アーキテクチャに対して同じレイクハウスを使用することが可能で、ユース ケースによっては、代わりに、異なるレイクハウスや異なるワークスペース内の異なるレイクハウスさえ使用することもできます。
アーキテクチャの設計: アーキテクチャ レイアウトを作成し、レイヤーを定義し、それらの間でデータがどのように流れるかを決定します。 最も簡単な実装は、生のレイヤーとしてブロンズ、キュレーション レイヤーとしてシルバー、プレゼンテーション レイヤーとしてゴールドを使用することです。 ゴールド レイヤーは、スター スキーマでモデル化し、レポート用に最適化する必要があります。
質問 銅 シルバー ゴールド そのレイヤーで何が起こりますか? 生データの取り込み データのクレンジングと検証 追加の変換とモデリング 使用されるツールは何ですか? パイプライン、データフロー、ノートブック データフローまたはノートブック SQL 分析エンドポイントまたはセマンティック モデル ブロンズへのデータの取り込み: ブロンズ レイヤーにどのようにデータを取り込むかを決定します。 これは、パイプライン、データフロー、またはノートブックを使用して行うことができます。
データの変換とシルバーへの読み込み: シルバー レイヤー内でどのようにデータを変換するかを決定します。 これは、データフロー、またはノートブックを使用して行うことができます。 シルバー レベルでの変換は、データ モデリングではなく、データの品質と一貫性に重点を置いたものとする必要があります。
ゴールド レイヤーの生成:ゴールド レイヤーの生成方法、それに含める内容、その使用方法を決定します。
- ゴールド レイヤーは、ディメンション モデルを使用してレポート用にデータをモデル化する場所です。 ここでは、リレーションシップを確立し、メジャーを定義し、効果的なレポートに不可欠なその他のすべての要素を組み込みます。
- 異なる対象者やドメイン用に複数のゴールド レイヤーを持つことができます。 たとえば、財務チーム用に 1 つのゴールド レイヤーを持ち、営業チーム用には別のゴールド レイヤーを持つ場合があります。 また、機械学習用に最適化されたデータ サイエンティスト用のゴールド レイヤーを持つ場合もあります。
- ニーズによっては、データ ウェアハウスをゴールド レイヤーとして使用する場合もあります。
- Fabric では、データフローまたはノートブックを使用してデータを変換してから、それをレイクハウスのゴールド Delta テーブルへと読み込むことができます。 その後、SQL 分析エンドポイントを使用してその Delta テーブルに接続し、SQL を使用してレポート用にデータをモデル化できます。 または、Power BI を使用してゴールド レイヤーの SQL 分析エンドポイントに接続し、データをレポート用にモデル化することもできます。
ダウンストリーム使用の有効化: データのダウンストリーム使用をどのように有効にするかを決定します。 これは、ワークスペースまたはアイテムのアクセス許可を使用するか、SQL 分析エンドポイントに接続することで行うことができます。