レイクハウス デプロイ パイプラインと Git 統合 (プレビュー)
レイクハウスは、Microsoft Fabric のライフサイクル管理機能と統合され、製品の寿命を通じてすべての開発チーム メンバー間の標準化されたコラボレーションを提供します。 ライフサイクル管理は、機能とバグ修正を複数の環境に継続的に提供することで、製品の効果的なバージョン管理とリリース プロセスを容易にします。 詳細については、「Microsoft Fabric のライフサイクル管理とは」を参照してください。
重要
この機能はプレビュー段階にあります。
レイクハウス Git 統合
レイクハウスは、ワークスペース内の複数のオブジェクトで参照されるメタデータとデータの両方が入ったアイテムです。 レイクハウスには、プライマリ管理可能なデータ コンテナー アイテムとしてテーブル、フォルダー、およびショートカットが入っています。 開発ワークフローの観点からは、次の依存オブジェクトがレイクハウスを参照している可能性があります。
- データフローとデータ パイプライン
- Spark ジョブ定義
- Notebooks
- セマンティック モデルと Power BI
既定のセマンティック モデルと SQL 分析エンドポイントメタデータは、レイクハウスに関連しており、既定では Git 更新プロセスによって管理されます。 原則として、Git ではデータは追跡されず、メタデータのみが追跡されます。
Git 表現
次のレイクハウス情報は、Git に接続されたワークスペースでシリアル化および追跡されます。
- [表示名]
- 説明
- 論理 guid
Note
追跡される論理 guid は、アイテムとそのソース管理表現を表す、自動的に生成されたクロスワークスペース識別子です。
重要
現在のエクスペリエンスでは、git で追跡されるのはレイクハウス コンテナー成果物のみです。 [ファイル] セクションのテーブル (Delta および非 Delta) とフォルダーは、git で追跡およびバージョン管理されません。
レイクハウス Git 統合機能
次の機能を利用できます。
- レイクハウス オブジェクト メタデータの Git JSON 表現へのシリアル化。
- 変更を直接適用するか、pull request を使用して、アップストリームまたはダウンストリームのワークスペースとブランチへの変更を制御します。
- レイクハウスの名前変更は Git では追跡されます。 名前が変更されたレイクハウスを更新すると、既定のセマンティック データ モデルと SQL Analytics エンドポイントの名前も変更されます。
- テーブルとフォルダーのメタデータにアクションは適用されず、これらのアイテムのデータは常に保持されます。
- OneLake ショートカット メタデータは git に保持されます。
OneLake ショートカットの git 統合機能
- [テーブル] と [ファイル] の両方のセクションのショートカット定義は、git の lakehouse フォルダーの下にある
shortcuts.metadata.json
という名前のファイルに格納されます。 - 次の操作がサポートされ、自動的に追跡されます: ショートカットの追加、削除、更新。
- 操作は、Fabric ユーザー インターフェイスで直接実行でき、
shortcuts.metadata.json
ファイルを変更することで git リポジトリで実行することもできます。 - 内部ターゲットを含むショートカット (OneLake ショートカット) は、git 同期中に自動的に更新されます。 ショートカットを有効にするには、これらの参照がワークスペース内の有効なターゲットである必要があります。 [lakehouse tables]\(レイクハウステーブル\) セクションで定義されているショートカットのターゲットが無効な場合、それらのショートカットは参照が解決されるまで
Unidentified
セクションに移動されます。
重要
shortcuts.metadata.json
ファイルで OneLake ショートカット プロパティを直接変更する場合は注意が必要です。 プロパティ (特に GUID) を誤って変更すると、更新プログラムがワークスペースに適用されるときに OneLake ショートカットが無効になる可能性があります。
重要
git からの更新により、ワークスペースのショートカットの状態がオーバーライドされます。 ワークスペース内のすべてのショートカットは、git からの受信状態に基づいて作成、更新、または削除されます。
デプロイ パイプライン内のレイクハウス
レイクハウスは、Microsoft Fabric ライフサイクル管理デプロイ パイプラインでサポートされています。 この結果、環境のセグメント化ベスト プラクティスが可能になります。
レイクハウス デプロイ パイプライン統合機能:
開発、テスト、運用の各ワークスペース間でのデプロイ。
レイクハウスは、デプロイ時に依存オブジェクトとして削除できます。 デプロイ パイプライン コンテキスト内の異なるレイクハウスのマッピングもサポートされています。
デプロイ パイプラインの構成時に何も指定されない場合は、同じ名前の新しい空のレイクハウス オブジェクトがターゲット ワークスペースに作成されます。 ノートブックと Spark ジョブ定義が再マップされ、新しいワークスペース内の新しいレイクハウス オブジェクトが参照されます。
デプロイ パイプラインの構成時に、レイクハウス依存関係が別のレイクハウス (アップストリームのレイクハウスなど) を参照するように構成されている場合でも、同じ名前の新しい空のレイクハウス オブジェクトがターゲット ワークスペースに作成されますが、Notebooks と Spark ジョブ定義の参照は、要求に応じて別のレイクハウスに保存されます。
SQL Analytics エンドポイントとセマンティック モデルは、レイクハウス デプロイの一部としてプロビジョニングされます。
レイクハウス内のオブジェクトは上書きされません。
レイクハウス名の更新は、デプロイ パイプライン コンテキスト内のワークスペース間で同期できます。
デプロイ パイプライン内の OneLake ショートカット
- ショートカット定義は、デプロイ パイプライン内のステージ間で同期されます。
- 外部ターゲット (ADLS Gen2、S3 など) を含むショートカットは、デプロイ後のすべてのステージで同じです。
- 同じワークスペース内の内部ターゲット (OneLake ショートカット) を含むショートカットは、ステージ間で自動的に再マップされます。 データ ウェアハウス モデルとセマンティック モデルを対象とするショートカットは、デプロイ中に再マップされません。 テーブル、フォルダー、ファイルはターゲット ワークスペースに作成されません。 ショートカットを有効にするには、展開後にターゲット ワークスペースにこれらの参照を作成する必要があります。
- 同じショートカットが異なるステージの異なる場所をターゲットにする必要があるシナリオ。 たとえば、開発で Amazon S3 の特定のフォルダーを指し、運用で ADLS Gen2 の別のフォルダーを指す場合。 デプロイ後、Lakehouse の OneLake ショートカット定義を更新するか、OneLake API を使用して直接更新します。
重要
デプロイによって、ターゲット ワークスペースのショートカットの状態がオーバーライドされます。 ターゲットレイクハウス内のすべてのショートカットは、ソースレイクハウスの状態に基づいて更新または削除されます。 ターゲットのレイクハウスに新しいショートカットが作成されます。 ソース ワークスペースとターゲット ワークスペースの間でデプロイされる変更を理解するには、常に [変更の確認] をクリックします。