Data Factory 端對端案例:簡介和架構
本教學課程透過在一小時內提供完整資料整合案例的逐步指引,協助您加速 Microsoft Fabric 中的 Data Factory 評估程序。 在本教學課程結束時,您將了解 Data Factory 的值和關鍵功能,並了解如何完成常見的端對端資料整合案例。
概觀:為什麼選擇 Microsoft Fabric 中的 Data Factory?
本節可協助您了解 Fabric 的一般角色,以及 Data Factory 在其中扮演的角色。
了解 Microsoft Fabric 的值
Microsoft Fabric 提供一站式商店,可滿足每個企業的所有分析需求。 它涵蓋完整的服務範圍,包括資料移動、資料湖、資料工程、資料整合和資料科學、即時分析和商業智慧。 使用 Fabric 時,無需將多個廠商的不同服務合併在一起。 相反地,您的使用者享受的是端對端、高度整合且單一的全方位產品,該產品易於理解、上線、建立及操作。
了解 Microsoft Fabric 中的 Data Factory 價值
Fabric 中的 Data Factory 結合 Power Query 的易用性與 Azure Data Factory 的規模和功能。 這會將兩個產品的優點進行結合,帶來統一的體驗。 目標是確保 Factory 中的資料整合適用於公民和專業資料開發人員。 它提供低程式碼、具備 AI 功能的資料準備和轉換體驗、PB 級轉換、數百個具有混合式、多重雲端連線的連接器。 Purview 提供治理,且服務具有企業級資料/操作承諾、CI/CD、應用程式生命週期管理和監視功能。
簡介 - 了解 Data Factory 的三個主要功能
- 資料導入:管線中的複製活動可以讓您將來自數百個資料來源的 PB 級資料移至資料湖倉,以便進一步處理。
- 資料轉換和準備:資料流 Gen2 提供低程式碼介面,可讓您使用 300 個以上的資料轉換來轉換資料,並能夠將轉換的結果載入多個目的地,例如 Azure SQL 資料庫、Lakehouse 等等。
- 端對端整合流程自動化:流程管道提供活動的協調運作,包括複製、資料流和筆記本活動等等。 這可讓您在單一位置管理各種活動。 管線中的活動可以鏈結在一起以循序方式運作,或是以平行方式獨立運作。
在此端對端資料整合使用案例中,您將了解:
- 如何使用管線中的複製助理匯入資料
- 如何使用無程式碼體驗的資料流來轉換資料,或通過撰寫自己的程式碼來利用指令碼或筆記本活動處理資料。
- 如何使用具有觸發程式和彈性控制流程活動的管線,實現整個端對端資料整合流程的自動化。
架構
在接下來的 50 分鐘內,您將負責完成端對端資料整合案例。 這包括從來源存放區擷取原始數據到 Lakehouse 的銅級資料表、處理所有數據,將其移至 Lakehouse 的金級資料表,在所有工作完成後發送電子郵件通知您,最後設定整個流程以排程方式運行。
案例分成三個模組:
- 模組 1:使用 Data Factory 建立管線,將未經處理資料從 Blob 儲存匯入至 Data Lakehouse 中的銅級表。
- 模組 2:使用 Data Factory 中的資料流程轉換資料,以處理來自銅級資料表的未經處理資料,並將其移至 Data Lakehouse 中的金級資料表。
- 課程模組 3:完成第一個資料整合旅程以發送通知電子郵件,告知所有工作均已完成,最後設定整個流程為排程執行。
您可以使用範例資料集 NYC-Taxi 作為教學課程的資料來源。 完成之後,您將能夠在 Microsoft Fabric 中使用 Data Factory,深入了解特定時段內計程車票價的每日折扣。
相關內容
在此端對端教學課程的簡介 (使用 Microsoft Fabric 中的 Data Factory 進行首次資料整合) 中,您已了解:
- Microsoft Fabric 的值和角色
- Fabric 中 Data Factory 的價值和角色
- Data Factory 的關鍵功能
- 在本教學課程中,您將學習
現在請繼續前往下一節,以建立資料管線。