共用方式為

具有 CI/CD 和 Git 整合支援的數據流 Gen2 （預覽）

  • 發行項

數據流 Gen2 現在支援持續整合 /持續部署 （CI/CD） 和 Git 整合。 這項功能可讓您在連線至網狀架構工作區的 Git 存放庫中建立、編輯和管理數據流。 此外，您可以使用部署管線功能，將從工作區到其他工作區的數據流部署自動化。 本文深入探討如何在 Fabric Data Factory 中使用數據流 Gen2 搭配 CI/CD 和 Git 整合。

重要

Data Factory for Microsoft Fabric 中數據流 Gen2 的 Git 整合和部署管線 （CI/CD） 目前為公開預覽狀態。 這項資訊與發行前版本產品有關，在發行前可能會大幅修改。 Microsoft針對此處提供的資訊，不提供任何明示或默示擔保。

新功能

使用資料流 Gen2 （CI/CD 預覽版），您現在可以：

  • 使用數據流 Gen2 的 Git 整合支援。
  • 使用部署管線功能，將數據流從工作區部署至其他工作區自動化。
  • 使用網狀架構設定和排程器來重新整理和編輯數據流 Gen2 的設定。
  • 直接將數據流 Gen2 建立至工作區資料夾。

必要條件

若要開始使用，您必須滿足下列必要條件：

  • 具有作用中訂用帳戶的 Microsoft Fabric 租用戶帳戶。 免費建立帳戶。
  • 請確定您有Microsoft已啟用網狀架構的工作區。
  • 若要享受 Git 整合，請確定它已啟用工作區。 若要深入瞭解如何啟用 Git 整合，請移至 開始使用 Git 整合。

使用 CI/CD 和 Git 支援建立數據流 Gen2

若要使用 CI/CD 和 Git 支援建立數據流 Gen2，請遵循下列步驟：

  1. 在 [網狀架構] 工作區中，選取 [建立新專案 ]，然後選取 [數據流 Gen2]。

    [新增專案] 視窗的螢幕快照，其中強調數據流 Gen2 專案。

  2. 為您的數據流命名並啟用 Git 整合。 然後選取建立。

    [新增數據流 Gen2] 視窗的螢幕快照，其中已強調並選取數據流名稱集和 Git 整合。

    數據流會建立，而系統會將您重新導向至數據流撰寫畫布。 您現在可以開始建立數據流。

  3. 完成時，請選取 [ 儲存並執行]。

    Power Query 編輯器的螢幕快照，其中強調 [儲存並執行] 按鈕。

  4. 發佈之後，數據流的狀態為未認可。

    已儲存數據流 Gen2 的螢幕快照，狀態顯示為未認可。

  5. 若要將數據流認可至 Git 存放庫，請選取工作區檢視右上角的原始檔控制圖示。

    [原始檔控制] 按鈕的螢幕快照。

  6. 選取您想要認可的所有變更，然後選取 [ 認可]。

    [原始檔控制] 視窗的螢幕快照，其中已選取數據流並強調 [認可] 按鈕。

您現在有具有 CI/CD 和 Git 支持的數據流 Gen2。 建議您遵循在 Fabric 中使用 CI/CD 和 Git 整合的最佳做法，如案例 2 - 使用另一個工作區進行開發教學課程中所述。

重新整理數據流 Gen2 或排程重新整理

您可以使用 CI/CD 和 Git 支援，手動或排程重新整理，以兩種方式重新整理數據流 Gen2。 下列各節說明如何使用 CI/CD 和 Git 支援重新整理數據流 Gen2。

立即重新整理

  1. 在網狀架構工作區中，選取您要重新整理之數據流旁邊的更多選項省略號圖示。

  2. 選取 [立即重新整理]。

    更多選項下拉功能表的螢幕快照，其中強調 [立即重新整理] 選項。

排程重新整理

如果您的數據流需要定期重新整理，您可以使用網狀架構排程器來排程重新整理。

  1. 在 [網狀架構] 工作區中，選取您要重新整理之數據流旁邊的更多選項省略號圖示。

  2. 選取排程。

    [更多選項] 下拉功能表的螢幕快照，其中強調 [排程] 選項。

  3. 在排程頁面上，您可以設定重新整理頻率和開始時間和結束時間，之後您可以套用變更。

    數據流設定畫面的螢幕快照，其中已選取 [排程] 索引標籤，並強調 [重新整理] 按鈕。

  4. 若要立即開始重新整理，請選取 [ 重新整理] 按鈕。

重新整理歷程記錄和設定

若要檢視數據流的重新整理歷程記錄，您可以選取下拉功能表中的 [重新整理記錄] 索引標籤，或移至監視中樞，然後選取您要檢視重新整理記錄的數據流。

具有 CI/CD 的數據流 Gen2 設定

使用 CI/CD 和 Git 支援存取新資料流 Gen2 的設定，類似於任何其他網狀架構專案。 您可以選取數據流旁邊的更多選項省略號圖示，然後選取設定來存取設定。

限制和已知問題

雖然具有 CI/CD 和 Git 支援的 Dataflow Gen2 提供了一套功能強大的功能，以利於企業級的協作，但這要求我們將後端重建為 Fabric 架構。 這表示某些功能尚無法使用或有限制。 我們正積極努力改善體驗，並會在新增新功能時更新本文。

  • 預備成品在某些體驗中會顯示，例如 ALM UI。 預備成品將會隱藏在未來的所有體驗中。
  • 當您使用 CI/CD 和 Git 支援刪除最後一個資料流 Gen2 時，暫存成品會在工作區中顯示，且使用者可安全地刪除。
  • 有些體驗提到 REST API 的支援，但這些 API 尚無法使用。 所有具有 CI/CD 和 Git 支援的數據流 Gen2 未來都將支援網狀架構公用 API。
  • 在 Fabric 資料管線中，無法協調使用 CI/CD 和 Git 支援的數據流 Gen2 重新整理。
  • 工作區檢視不會顯示數據流是否正在進行重新整理。
  • 尚未提供適用於具有 CI/CD 和 Git 支持的數據流 Gen2 的 Copilot。
  • 數據流撰寫體驗尚不支援 VNet 網關聯機。
  • 您無法從工作區功能表匯出Dataflow.json。 可讓您匯出數據流的因應措施如下：
    • 使用網狀架構公用 API 來取得Dataflow.json。
    • 使用導出電源查詢範本功能來匯出數據流定義。
    • 使用 OneLake 總管到工作區以取得數據流定義。
  • 具有 CI/CD 和 Git 支援的數據流 Gen2 不支援 Fabric 工作區中的取得擁有權功能。 因此，只有數據流的建立者可以編輯數據流。 如果您想要在數據流上一起運作，您可以使用 Git 存放庫中的分支，並建立提取要求來合併變更。 如需詳細資訊，請移至 案例 2 - 使用另一個工作區進行開發。
  • 分支至另一個工作區時，數據流 Gen2 重新整理可能會失敗，並顯示找不到預備 Lakehouse 的訊息。 發生這種情況時，請在工作區中建立具有 CI/CD 和 Git 支援的新數據流 Gen2，以觸發建立預備 Lakehouse。 在此之後，工作區中的所有其他數據流都應該重新開始運作。
  • 當您在工作區中建立新專案時，它可能會顯示「數據流 Gen2（CI/CD，預覽版）」專案。 請忽略此專案，並遵循本文中所述的指示。 可能需要一些時間，您的區域才會顯示啟用 CI/CD 和 Git 支援的複選框。
  • 數據流中預設可能不會啟用快速複製。 您可以使用資料流設定來啟用此功能。
  • 使用內部部署數據閘道的連線目前會導致數據流重新整理時發生問題。 我們建議使用不同的方法，將資料從內部部署的資料來源導入到系統架構中。

我們致力於持續改善具有 CI/CD 和 Git 支援的數據流 Gen2，並在我們處理這些增強功能時感謝您的耐心。