從 Azure Data Factory 到 Microsoft Fabric Data Factory
Microsoft Fabric Data Factory 是新一代 Azure Data Factory,其提供雲端規模的資料移動和資料轉換服務,可解決最複雜的 ETL 案例。 其旨在變得更便於使用、更強大且成為真正企業級服務。 本文會比較 Azure Data Factory 與 Microsoft Fabric Data Factory 之間的差異。
功能對應
在 Fabric Data Factory 的新式體驗中,與 Azure Data Factory 相比,有一些不同的功能概念。 詳細功能對應如下表所示。
Azure Data Factory | Fabric Data Factory | 描述 |
---|---|---|
管線 | 資料管線 | Fabric 中的資料管線與包括 Lakehouse、資料倉儲等在內的同一資料平台更緊密結合。 |
對應資料流程 | Dataflow Gen2 | Dataflow Gen2 提供更簡單的方式來建置轉換。 我們正努力讓 Dataflow Gen2 支援更多對應資料流程的功能 |
活動 | 活動 | 我們正努力讓 Fabric Data Factory 支援更多 ADF 活動。 Fabric Data Factory 也有 Office 365 Outlook 活動等一些新吸引的活動。 <活動概觀>中有詳細資料。 |
資料集 | 不適用 | Fabric Data Factory 沒資料集概念。 連線將用於連線每個資料來源和提取資料。 |
連結服務 | 連線 | 連線具有與連結服務類似的功能,但 Fabric 中的連線可以使用更直覺的方式來建立。 |
觸發程序 | 排程觸發程式和檔案事件觸發程式 | 網狀架構可以使用排程器和 Reflex 事件來自動執行管線。 Microsoft Fabric Data Factory 中的管線中原生支持檔案事件觸發程式。 |
發行 | 儲存、執行 | 對於 Fabric 中的管線,不需要發佈來儲存內容。 相反,可以使用 [儲存] 按鈕直接儲存內容。 按下 [執行] 按鈕時,會在執行管線之前儲存內容。 |
Autoresolve 和 Azure Integration Runtime | 不適用 | 在 Fabric 中,沒有整合執行階段的概念。 |
自我裝載整合執行階段 | 內部部署資料閘道 | 內部部署的資料閘道可實現透過 Fabric Data Factory 存取內部部署資料。 <如何在 Microsoft Fabric Data Factory 中存取內部部署資料來源>中有詳細資料。 |
Azure-SSIS Integration Runtime | 有待確定 | Fabric 中的功能尚未確認藍圖和設計。 |
MVNet 和私人端點 | 有待確定 | Fabric 中的功能尚未確認藍圖和設計。 |
運算式語言 | 運算式語言 | 運算式語言在 ADF 和 Fabric 中很類似。 |
連結服務中的驗證類型 | 連線中的驗證種類 | Fabric 管線中的驗證種類已支援 ADF 中的熱門驗證類型,而且將會新增更多驗證類型。 |
持續整合與持續傳遞 | 持續整合與持續傳遞 | 即將推出 Fabric Data Factory 中的 CI/CD 功能。 |
匯出和匯入 ARM | Save as | 在 Fabric 管線中可使用 [另存新檔] 來複製管線。 |
監視 | 監視、執行歷程記錄 | Fabric 中的監視中樞具有更進階的功能和新式體驗,例如跨不同工作區進行監視,以便取得更佳的見解。 |
Microsoft Fabric Data Factory 的資料管線
Microsoft Fabric Data Factory 中有許多出色的資料管線功能。 利用這些功能,可以感受到 Fabric 中管線的強大功能。
Lakehouse/資料倉儲整合
Lakehouse 和資料倉儲可在 Fabric 管線中作為來源和目的地使用,因此組建與 Lakehouse 和資料倉儲整合的專案會非常方便。
Office 365 Outlook 活動
Office 365 Outlook 活動提供直覺且簡單的方式,透過簡單的組態,傳送有關管線、活動資訊以及管線輸出的自訂電子郵件通知。
取得資料體驗
Fabric Data Factory 中提供新式且簡易的取得資料體驗,因此可以非常快速地設定複製管線並建立新的連線。
新式監視體驗
透過監視中樞和資料流程和資料管線等 Data Factory 項目的組合功能,可以全面了解所有工作負載,並深入探索資料處理站內的任何活動。 透過監視中樞執行跨工作區分析也很方便。
管線複製監視結果會提供複製活動的詳細資料明細。 選取 [執行詳細資料] 按鈕 (反白顯示眼鏡圖示),可檢視執行詳細資料。 展開 [持續時間明細],可以了解複製活動中每個階段的持續時間。
Save as
Fabric 中的 [另存新檔] 提供了一種方便的方式,可複製現有的管線以供其他開發使用。