共用方式為

具有 CI/CD 和 Git 整合支援的數據流 Gen2 （預覽）

  • 發行項

數據流 Gen2 現在支援持續整合 /持續部署 （CI/CD） 和 Git 整合。 這項功能可讓您在連線至網狀架構工作區的 Git 存放庫中建立、編輯和管理數據流。 此外，您可以使用部署管線功能，將從工作區到其他工作區的數據流部署自動化。 本文深入探討如何在 Fabric Data Factory 中使用數據流 Gen2 搭配 CI/CD 和 Git 整合。

重要

Data Factory for Microsoft Fabric 中數據流 Gen2 的 Git 整合和部署管線 （CI/CD） 目前為公開預覽狀態。 這項資訊與發行前版本產品有關，在發行前可能會大幅修改。 Microsoft針對此處提供的資訊，不提供任何明示或默示擔保。

新功能

使用資料流 Gen2 （CI/CD 預覽版），您現在可以：

  • 使用數據流 Gen2 的 Git 整合支援。
  • 使用部署管線功能，將數據流從工作區部署至其他工作區自動化。
  • 使用網狀架構設定和排程器來重新整理和編輯數據流 Gen2 的設定。
  • 直接將數據流 Gen2 建立至工作區資料夾。

必要條件

若要開始使用，您必須滿足下列必要條件：

  • 具有作用中訂用帳戶的 Microsoft Fabric 租用戶帳戶。 免費建立帳戶。
  • 請確定您有Microsoft已啟用網狀架構的工作區。
  • 若要享受 Git 整合，請確定它已啟用工作區。 若要深入瞭解如何啟用 Git 整合，請移至 開始使用 Git 整合。

使用 CI/CD 和 Git 支援建立數據流 Gen2

若要使用 CI/CD 和 Git 支援建立數據流 Gen2，請遵循下列步驟：

  1. 在 [網狀架構] 工作區中，選取 [建立新專案 ]，然後選取 [數據流 Gen2]。

    [新增專案] 視窗的螢幕快照，其中強調數據流 Gen2 專案。

  2. 為您的數據流命名並啟用 Git 整合。 然後選取建立。

    [新增數據流 Gen2] 視窗的螢幕快照，其中已強調並選取數據流名稱集和 Git 整合。

    數據流會建立，而系統會將您重新導向至數據流撰寫畫布。 您現在可以開始建立數據流。

  3. 完成時，請選取 [ 儲存並執行]。

    Power Query 編輯器的螢幕快照，其中強調 [儲存並執行] 按鈕。

  4. 發佈之後，數據流的狀態為未認可。

    已儲存數據流 Gen2 的螢幕快照，狀態顯示為未認可。

  5. 若要將數據流認可至 Git 存放庫，請選取工作區檢視右上角的原始檔控制圖示。

    [原始檔控制] 按鈕的螢幕快照。

  6. 選取您想要認可的所有變更，然後選取 [ 認可]。

    [原始檔控制] 視窗的螢幕快照，其中已選取數據流並強調 [認可] 按鈕。

您現在有具有 CI/CD 和 Git 支持的數據流 Gen2。 建議您遵循在 Fabric 中使用 CI/CD 和 Git 整合的最佳做法，如案例 2 - 使用另一個工作區進行開發教學課程中所述。

重新整理數據流 Gen2 或排程重新整理

您可以使用 CI/CD 和 Git 支援，手動或排程重新整理，以兩種方式重新整理數據流 Gen2。 下列各節說明如何使用 CI/CD 和 Git 支援重新整理數據流 Gen2。

立即重新整理

  1. 在網狀架構工作區中，選取您要重新整理之數據流旁邊的更多選項省略號圖示。

  2. 選取 [立即重新整理]。

    更多選項下拉功能表的螢幕快照，其中強調 [立即重新整理] 選項。

排程重新整理

如果您的數據流需要定期重新整理，您可以使用網狀架構排程器來排程重新整理。

  1. 在 [網狀架構] 工作區中，選取您要重新整理之數據流旁邊的更多選項省略號圖示。

  2. 選取排程。

    [更多選項] 下拉功能表的螢幕快照，其中強調 [排程] 選項。

  3. 在排程頁面上，您可以設定重新整理頻率和開始時間和結束時間，之後您可以套用變更。

    數據流設定畫面的螢幕快照，其中已選取 [排程] 索引標籤，並強調 [重新整理] 按鈕。

  4. 若要立即開始重新整理，請選取 [ 重新整理] 按鈕。

重新整理歷程記錄和設定

若要檢視數據流的重新整理歷程記錄，您可以選取下拉功能表中的 [重新整理記錄] 索引標籤，或移至監視中樞，然後選取您要檢視重新整理記錄的數據流。

具有 CI/CD 的數據流 Gen2 設定

使用 CI/CD 和 Git 支援存取新資料流 Gen2 的設定，類似於任何其他網狀架構專案。 您可以選取數據流旁邊的更多選項省略號圖示，然後選取設定來存取設定。

限制和已知問題

雖然具有 CI/CD 和 Git 支援的 Dataflow Gen2 提供了一套功能強大的功能，以利於企業級的協作，但這要求我們將後端重建為 Fabric 架構。 這表示某些功能尚無法使用或有限制。 我們正積極努力改善體驗，並會在新增新功能時更新本文。

  • 預備成品在某些體驗中會顯示，例如 ALM UI。 預備成品將會隱藏在未來的所有體驗中。
  • 當您使用 CI/CD 和 Git 支援刪除最後一個資料流 Gen2 時，暫存成品會在工作區中顯示，且使用者可安全地刪除。
  • 有些體驗提到 REST API 的支援，但這些 API 尚無法使用。 所有具有 CI/CD 和 Git 支援的數據流 Gen2 未來都將支援網狀架構公用 API。
  • 在 Fabric 資料管線中，無法協調使用 CI/CD 和 Git 支援的數據流 Gen2 重新整理。
  • 工作區檢視不會顯示數據流是否正在進行重新整理。
  • 您無法從工作區功能表匯出Dataflow.json。 可讓您匯出數據流的因應措施如下：
    • 使用網狀架構公用 API 來取得Dataflow.json。
    • 使用導出電源查詢範本功能來匯出數據流定義。
    • 使用 OneLake 總管到工作區以取得數據流定義。
  • 具有 CI/CD 和 Git 支援的數據流 Gen2 不支援 Fabric 工作區中的取得擁有權功能。 因此，只有數據流的建立者可以編輯數據流。 如果您想要在數據流上一起運作，您可以使用 Git 存放庫中的分支，並建立提取要求來合併變更。 如需詳細資訊，請移至 案例 2 - 使用另一個工作區進行開發。
  • 分支至另一個工作區時，數據流 Gen2 重新整理可能會失敗，並顯示找不到預備 Lakehouse 的訊息。 發生這種情況時，請在工作區中建立具有 CI/CD 和 Git 支援的新數據流 Gen2，以觸發建立預備 Lakehouse。 在此之後，工作區中的所有其他數據流都應該重新開始運作。
  • 將 GIT 變更同步至工作區時，您必須開啟新的或更新的數據流，並使用編輯器手動儲存變更。 這會在背景觸發發佈動作，以允許在數據流重新整理期間使用變更。

我們致力於持續改善具有 CI/CD 和 Git 支援的數據流 Gen2，並在我們處理這些增強功能時感謝您的耐心。