Fabric のミラーリングとは
Fabric のミラーリングは、さまざまなシステムのデータを単一の分析プラットフォームにまとめるための低コストで低遅延のソリューションです。 既存のデータ資産は、さまざまな Azure データベースや外部データ ソースから Fabric の OneLake に継続的に直接レプリケートできます。
OneLake でクエリ可能な形式の最新データを使用して、Spark での分析の実行、ノートブックの実行、データ エンジニアリング、Power BI レポートによる視覚化など、Fabric のすべての異なるサービスを使用できるようになりました。
Fabric でのミラーリングにより、ユーザーは分析のニーズを簡素化するように設計された、高度に統合された、エンドツーエンドで使いやすい製品をお楽しみいただけます。 Microsoft とオープンソースの Delta Lake テーブル形式を読み取ることができるテクノロジ ソリューション間のオープン性とコラボレーションのために構築されたミラーリングは、すべての分析ニーズに使用できる OneLake でデータのレプリカを作成できる、低コストで低遅延のターンキー ソリューションです。
Delta テーブルは、Fabric のあらゆる場所で使用できるため、ユーザーは Fabric への移行を加速できます。
Fabric でミラーリングを使用する理由
現在、多くの組織は、サイロに置かれているミッション クリティカルなオペレーショナル データまたは分析データを持っています。
現在、このデータにアクセスして操作するには、複雑な ETL (抽出変換読み込み) パイプライン、ビジネス プロセス、意思決定サイロが必要であり、次のものが作成されます。
- 重要で常に変化するデータへの制限付きの制限されたアクセス
- 人、プロセス、テクノロジ間の摩擦
- 非常に重要なデータへのデータ パイプラインとプロセスを作成するための長い待機時間
- 分析情報を快適に分析して共有するために必要なツールを自由に使用できない
- 人々がデータを共有し、共同作業するための適切な基盤がない
- BI、AI、統合、エンジニアリング、さらにはアプリなど、すべての分析シナリオに共通のオープン データ形式がない
Fabric でのミラーリングを使用すると、分析情報と意思決定の価値実現までの時間を短縮し、テクノロジ ソリューション間のデータ サイロを分割するための簡単なエクスペリエンスが提供されます。
BI と AI のための組み込みの分析を使用した、SaaS データレイクへのデータとメタデータのほぼリアルタイムのレプリケーション
Microsoft Fabric プラットフォームは、サービスとしてのソフトウェア (SaaS) の基盤に基づいて構築されており、シンプルさと統合性を大幅に改善します。 Microsoft Fabric の詳細については、「Microsoft Fabric とは」を参照してください。
ミラーリングでは、Fabric ワークスペースに次の 3 つの項目が作成されます。
- ミラーリングでは、データとメタデータの OneLake へのレプリケーションと Parquet への変換が、分析対応形式で管理されます。 これにより、データ エンジニアリング、データ サイエンスなどのダウンストリーム シナリオが可能になります。
- SQL 分析エンドポイント
- 既定のセマンティック モデル
Microsoft Fabric SQL クエリ エディターに加えて、SQL Server Management Studio、mssql 拡張機能と Visual Studio Code、さらには GitHub Copilot など、ツールの広範なエコシステムがあります。
共有により、アクセス制御と管理が容易になり、機密情報へのアクセスを確実に制御できます。 また、共有により、組織全体がセキュリティで保護され、民主化された意思決定が可能になります。
ミラーリングの種類
Fabric には、ミラーリングによってデータを OneLake に取り込む場合の 3 つの異なるアプローチが用意されています。
- データベース ミラーリング – Microsoft Fabric のデータベース ミラーリングでは、データベース全体とテーブルをレプリケーションできるため、さまざまなシステムのデータを単一の分析プラットフォームにまとめることができます。
- メタデータ ミラーリング – Fabric のメタデータ ミラーリングでは、データを物理的に移動する代わりにメタデータ (カタログ名、スキーマ、テーブルなど) を同期します。 このアプローチでは、ショートカットを活用することで、データをソースに残しながら、Fabric 内で簡単にアクセスできるようにします。
- オープン ミラーリング - Fabric のオープン ミラーリングでは、オープン Delta Lake テーブル形式に基づいてミラーリングを拡張するように設計されています。 この機能により、開発者は誰でも、アプリケーションの変更データをオープン ミラーリング手法とパブリック API に基づいて、Microsoft Fabric のミラー化されたデータベース項目に直接書き込むことができます。
テナントでミラーリングを有効にする方法とは
Power BI 管理者は、ミラーリングを組織全体に対して、または特定のセキュリティ グループに対して有効または無効にすることができます。これには、Power BI の管理ポータルにある設定を使用します。 [作成] オプションにミラーリング項目が表示されます。 詳細については、「Microsoft Fabric テナントでミラーリングを有効にする」を参照してください。
Fabric SQL データベースでは、ミラーリングが自動的に構成されてすぐに初期化され、追加の手順は必要ありません。
現在使用できる外部データベースは以下のとおりです。
| プラットフォーム | 凖リアルタイムのレプリケーション | ミラーリングの種類 | エンドツーエンドのチュートリアル |
|---|---|---|---|
| Azure Cosmos DB からの Microsoft Fabric ミラー化データベース (プレビュー) | はい | データベース ミラーリング | チュートリアル: Azure Cosmos DB |
| Azure Databricks からの Microsoft Fabric ミラー化データベースの制限事項 (プレビュー) | はい | メタデータ ミラーリング | チュートリアル: Azure Databricks |
| Azure SQL データベースからの Microsoft Fabric ミラー化データベース | はい | データベース ミラーリング | チュートリアル: Azure SQL データベース |
| Azure SQL Managed Instance からミラー化される Microsoft Fabric データベース (プレビュー) | はい | データベース ミラーリング | チュートリアル: Azure SQL Managed Instance |
| Snowflake からの Microsoft Fabric ミラー化データベース | はい | データベース ミラーリング | チュートリアル: Snowflake |
| ミラー化されたデータベースを開く | はい | オープン ミラーリング | チュートリアル: オープン ミラーリング |
| Fabric SQL データベースからの Microsoft Fabric ミラー化データベース | はい | データベース ミラーリング | 自動構成 |
データベース ミラーリングのほぼリアルタイムのレプリケーションのしくみ
ミラーリングは、オペレーショナル データ ソースへのセキュリティ保護接続を作成することによって有効になります。 データベース全体または個々のテーブルをレプリケートするかどうかを選択すると、ミラーリングによってデータが自動的に同期されます。設定が完了すると、データは分析での消費のために OneLake に継続的にレプリケートされます。
ミラーリングの基本原則を次に示します。
Fabric でミラーリングを有効にすることは、シンプルで直感的であり、複雑な ETL パイプラインを作成したり、他のコンピューティング リソースを割り当てたり、データ移動を管理したりする必要がありません。
Fabric でのミラーリングはフル マネージド サービスであるため、ミラー化接続のホスティング、維持、またはレプリケーションの管理について心配する必要はありません。
メタデータ ミラーリングのしくみ
ミラーリングはデータをレプリケーションできるようにするだけでなく、完全なデータのレプリケーションではなく、ショートカットやメタデータ ミラーリングによって、物理的な移動や複製を行わずにデータを利用できるようにすることもできます。 このコンテキストにおけるミラーリングとは、実際のデータそのものではなく、カタログ名、スキーマ、テーブルなどのメタデータのみをレプリケートすることを指します。 このアプローチにより、重複することなく Fabric でさまざまなソースのデータにアクセスできるようになり、データ管理が簡略化され、ストレージのニーズを最小限に抑えることができます。
たとえば、Unity Catalog に登録されたデータにアクセスする場合、Fabric で Azure Databricks のカタログ構造のみをミラーリングし、ショートカットを通じて基になるデータにアクセスできるようになります。 この方法により、ソース データに変更があった場合でも、データ移動を必要とせずに即座に Fabric に反映されるため、リアルタイム同期が維持され、最新情報へのアクセス効率が向上します。
オープン ミラーリングのしくみ
データ ソースへの安全な接続を作成することでデータをレプリケーションできるようにするミラーリングに加えて、既存のデータ プロバイダーを選択したり、ミラー化されたデータベースにデータを配置する独自のアプリケーションを記述したりすることもできます。 パブリック API または Fabric ポータルを介してオープン ミラーリングされたデータベースを作成すると、OneLake でランディング ゾーン URL を取得できるようになり、オープン ミラーリング仕様ごとに変更データを配置できます。
データが適切な形式でランディング ゾーンに配置されると、レプリケーションの実行が開始され、Delta テーブルに反映される更新、挿入、削除などの変更をマージする複雑さを管理します。 この方法により、ランディング ゾーンに書き込まれたデータは即座に反映され、Fabric 内のデータは常に最新の状態に維持されます。
共有
共有により、アクセス制御と管理が容易になりますが、行レベル セキュリティ (RLS) やオブジェクト レベル セキュリティ (OLS) などのセキュリティ制御により、機密情報へのアクセスをより確実に制御できます。 また、共有により、組織全体がセキュリティで保護され、民主化された意思決定が可能になります。
共有することで、ユーザーは、ワークスペースとその他の項目へのアクセス権を付与することなく、他のユーザーまたはユーザーのグループにミラー化データベースへのアクセス権を付与します。 ミラー化データベースを共有すると、SQL 分析エンドポイントおよび関連するデフォルト セマンティック モデルへのアクセス権も付与されます。
ワークスペース ビューのミラー化データベース名の横にある [共有] ボタンを使用して、[共有] ダイアログにアクセスします。 ミラー化された共有データベースは、[OneLake] または Microsoft Fabric の [共有アイテム] セクションから確認できます。
詳しくは、「データを共有し、アクセス許可を管理する」をご覧ください。
複数データベース間のクエリ
OneLake に格納されているミラー化データベースのデータを使用すると、データベース間クエリを記述し、ミラー化データベース、ウェアハウス、レイクハウスの SQL 分析エンドポイントのデータを 1 つの T-SQL クエリで結合できます。 詳細については、「データベース間クエリを作成する」に関する記事を参照してください。
たとえば、3 部構成の名前付けを使用して、ミラー化データベースとウェアハウスからテーブルを参照できます。 次の例では、3 部構成の名前を使用してウェアハウス ContosoWarehouse で ContosoSalesTable を参照します。 他のデータベースまたはウェアハウスからは、標準の SQL 3 部構成の名前付け規則の最初の部分が、ミラー化データベースの名前になります。
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
ミラー化データベース データを使用した Data Engineering
Microsoft Fabric には、データがアクセスが容易で、適切に整理され、高品質であることを確認するためのさまざまな Data Engineering 機能が用意されています。 Fabric Data Engineering では、次のことができます。
- レイクハウスを使用して、データを作成および管理する
- レイクハウスにデータをコピーするためのパイプラインを設計する
- Spark ジョブ定義を使って、バッチまたはストリーミング ジョブを Spark クラスターに送信する
- ノートブックを使用して、データ インジェスト、準備、変換のコードを記述する
ミラー化データベース データを使用した Data Science
Microsoft Fabric で提供される Fabric Data Science を使って、ユーザーは、データ エンリッチメントとビジネス分析情報を目的とするエンド ツー エンドのデータ サイエンス ワークフローを完了できます。 データの探索、準備、クレンジングから実験、モデリング、モデル スコアリング、予測分析情報の BI レポートへの提供まで、データ サイエンス プロセス全体にまたがる幅広いアクティビティを完了できます。
Microsoft Fabric ユーザーは、Data Science ワークロードにアクセスできます。 ここから、さまざまな関連リソースの確認や利用を行えます。 たとえば、機械学習の実験、モデル、ノートブックを作成できます。 また、Data Science のホームページで既存のノートブックをインポートすることもできます。
Microsoft Fabric SQL Database
また、Fabric ポータル内でMicrosoft Fabric SQL データベースを直接作成および管理することもできます。 Azure SQL Database に基づく Fabric SQL データベースは分析のために自動的にミラー化され、ユーザーは Fabric で運用データベースを簡単に作成できます。 SQL データベースは、OLTP ワークロード用の Fabric のホームであり、Fabric のソース管理統合と統合できます。