CI/CD と Git 統合をサポートする Dataflow Gen2 (プレビュー)

[アーティクル]
12/18/2024

Dataflow Gen2 は、継続的インテグレーションと継続的デプロイ (CI/CD) と Git 統合をサポートするようになりました。この機能を使用すると、Fabric ワークスペースに接続された Git リポジトリでデータフローを作成、編集、管理できます。さらに、デプロイパイプライン機能を使用して、自分のワークスペースから他のワークスペースへのデータフローのデプロイを自動化できます。この記事では、Fabric Data Factory で Dataflow Gen2 を CI/CD や Git 統合と共に使用する方法について詳しく説明します。

手記

CI/CD と Git 統合のサポートのリリースは、リリースの品質を確保し、既存の操作に影響を与えないことを確認するために、1 月に再スケジュールされました。ご不便をおかけして申し訳ございません。

新機能

Dataflow Gen2 (CI/CD プレビュー) を使用すると、次のことが可能になります。

Dataflow Gen2 の Git 統合サポートを使用する。
デプロイパイプライン機能を使用して、自分のワークスペースから他のワークスペースへのデータフローのデプロイを自動化する。
Fabric 設定とスケジューラを使用して、Dataflow Gen2 の設定を更新および編集する。
Dataflow Gen2 をワークスペースフォルダーに直接作成する。

前提条件

開始するには、次の前提条件を満たしている必要があります。

アクティブなサブスクリプションを使用する Microsoft Fabric テナントアカウントを持つ。無料でアカウントを作成します。
Microsoft Fabric 対応ワークスペースを確実に用意する。
Git 統合を活用するには、ワークスペースで有効にする必要があります。 Git 統合の有効化の詳細については、Git 統合の概要に関する記事を参照してください。

CI/CD と Git をサポートする Dataflow Gen2 を作成する

CI/CD と Git をサポートする Dataflow Gen2 を作成するには、次の手順を実行します。

Fabric ワークスペースで、[新しい項目の作成] を選択し、次に [Dataflow Gen2] を選択します。
データフローに名前を付けて、Git 統合を有効にします。 [作成] を選択します。

データフローが作成され、データフローの作成キャンバスにリダイレクトされます。これで、データフローの作成を開始できます。
完了したら、[保存して実行] を選択します。
発行後、データフローの状態は未コミットになります。
データフローを Git リポジトリにコミットするには、ワークスペースビューの右上隅にあるソース管理アイコンを選択します。
コミットする変更をすべて選択し、[コミット] を選択します。

これで、CI/CD と Git をサポートする Dataflow Gen2 を用意できました。「シナリオ 2 - 別のワークスペースを使用して開発する」のチュートリアルで説明されている、Fabric で CI/CD と Git 統合を操作する際のベストプラクティスに従うことをお勧めします。

Dataflow Gen2 を更新する、または更新をスケジュールする

CI/CD と Git をサポートする Dataflow Gen2 を更新するには、手動、または更新のスケジュールという 2 つの方法があります。以下のセクションでは、CI/CD と Git をサポートする Dataflow Gen2 を更新する方法について説明します。

今すぐ更新

Fabric ワークスペースで、更新するデータフローの横にある詳細オプションの省略記号アイコンを選択します。
[今すぐ更新] を選択します。

更新をスケジュールする

データフローを定期的に更新する必要がある場合は、Fabric スケジューラを使用して更新をスケジュールできます。

Fabric ワークスペースで、更新するデータフローの横にある詳細オプションの省略記号アイコンを選択します。
スケジュールを選択します。
スケジュールページでは、更新頻度、開始時刻と終了時刻を設定し、その後に変更を適用できます。
[今すぐ更新] を開始するには、[更新] ボタンを選択します。

履歴と設定を更新する

データフローの更新履歴を表示するには、ドロップダウンメニューで [更新履歴] タブを選択するか、監視ハブに移動して、更新履歴を表示するデータフローを選択します。

CI/CD を使用する Dataflow Gen2 の設定

CI/CD と Git をサポートする新しい Dataflow Gen2 の設定へのアクセス方法は、他の Fabric 項目と同様です。設定にアクセスするには、データフローの横にある詳細オプションの省略記号アイコンを選択し、設定を選択します。

制限事項と既知の問題

CI/CD と Git のサポートを備えた Dataflow Gen2 では、エンタープライズ対応のコラボレーションのための強力な機能セットが提供されますが、これにはバックエンドをファブリックアーキテクチャに再構築する必要がありました。これは、一部の機能がまだ使用できないか、制限があることを意味します。エクスペリエンスの向上に積極的に取り組んでいます。新機能が追加されると、この記事が更新されます。

ALM UI などの一部のエクスペリエンスでは、ステージングの成果物が表示されます。将来的には、すべてのエクスペリエンスでステージングの成果物が非表示になる予定です。
CI/CD と Git がサポートされている最後の Dataflow Gen2 を削除する際には、ステージング成果物がワークスペースに表示されるため、ユーザーは安全にそれを削除することができます。
一部のエクスペリエンスでは REST API のサポートについて記載されていますが、これらの API はまだ使用できません。 CI/CD と Git をサポートするすべての Dataflow Gen2 は、将来的に Fabric Public API をサポートする予定です。
Fabric データパイプラインでは、CI/CD と Git をサポートする Dataflow Gen2 の更新を調整できません。
データフローの更新が進行中かどうかは、ワークスペースビューに表示されません。
CI/CD と Git をサポートする Dataflow Gen2 の Copilot はまだ利用できません。
データフロー作成エクスペリエンスにおいて、VNet Gateway 接続はまだサポートされていません。
ワークスペースメニューから Dataflow.json をエクスポートすることはできません。データフローをエクスポートできる回避策は次のとおりです。
- Fabric Public API を使用して Dataflow.json を取得します。
- Power Query テンプレートのエクスポート機能を使用して、データフロー定義をエクスポートします。
- OneLake エクスプローラーをワークスペースに使用して、データフロー定義を取得します。
CI/CD と Git をサポートする Dataflow Gen2 は、Fabric ワークスペースでの所有権の取得機能をサポートしていません。そのため、データフローの作成者のみがデータフローを編集できます。 1 つのデータフローについて共同作業する場合は、Git リポジトリ内のブランチを使用し、pull request を作成して変更をマージできます。詳細については、「シナリオ 2 - 別のワークスペースを使用して開発する」を参照してください。
別のワークスペースに分岐すると、Dataflow Gen2 の更新が失敗し、ステージングレイクハウスが見つからないというメッセージが表示される場合があります。このような場合は、CI/CD と Git をサポートする新しい Dataflow Gen2 をワークスペースに作成し、ステージングレイクハウスの作成をトリガーします。この後、ワークスペース内の他のすべてのデータフローが再び機能するようになります。
ワークスペースに新しい項目を作成すると、"Dataflow Gen2 (CI/CD、プレビュー)" という項目が表示される場合があります。これは無視して、この記事に記載されている手順に従ってください。お使いのリージョンで CI/CD および Git のサポートを有効にするチェックボックスが表示されるまで、しばらく時間がかかる場合があります。
お使いのデータフローでは、高速コピーが既定で有効になっていない可能性があります。データフロー設定を使用してこれを有効にできます。
オンプレミスのデータゲートウェイを使用する接続は、現在、データフローの更新で問題を引き起こしています。オンプレミスのデータソースからファブリックにデータを取得する場合は、別の方法を使用することをお勧めします。

CI/CD と Git のサポートを使用して Dataflow Gen2 を継続的に改善し、これらの機能強化に取り組むお客様の忍耐に感謝します。

次の方法で共有