共用方式為


Data Factory 端對端案例:簡介和架構

本教學課程透過在一小時內提供完整資料整合案例的逐步指引,協助您加速 Microsoft Fabric 中的 Data Factory 評估程序。 在本教學課程結束時,您將了解 Data Factory 的值和關鍵功能,並了解如何完成常見的端對端資料整合案例。

概觀:為什麼選擇 Microsoft Fabric 中的 Data Factory?

本節可協助您了解 Fabric 的一般角色,以及 Data Factory 在其中扮演的角色。

了解 Microsoft Fabric 的值

Microsoft Fabric 提供一站式商店,可滿足每個企業的所有分析需求。 它涵蓋完整的服務範圍,包括資料移動、資料湖、資料工程、資料整合和資料科學、即時分析和商業智慧。 使用 Fabric 時,無需將多個廠商的不同服務合併在一起。 相反地,您的使用者享受的是端對端、高度整合且單一的全方位產品,該產品易於理解、上線、建立及操作。

了解 Microsoft Fabric 中的 Data Factory 值

Fabric 中的 Data Factory 結合 Power Query 的易用性與 Azure Data Factory 的規模和功能。 這會將兩個產品的優點進行結合,帶來統一的體驗。 目標是確保 Factory 中的資料整合適用於公民和專業資料開發人員。 它提供低程式碼、具備 AI 功能的資料準備和轉換體驗、PB 級轉換、數百個具有混合式、多重雲端連線的連接器。 Purview 提供治理,且服務具有企業級資料/操作承諾、CI/CD、應用程式生命週期管理和監視功能。

簡介 - 了解 Data Factory 的三個主要功能

  • 資料擷取:管線中的複製活動可讓您將數百個資料來源的資料移至 Data Lakehouse,以便進一步處理。
  • 資料轉換和準備:資料流 Gen2 提供低程式碼介面,可讓您使用 300 個以上的資料轉換來轉換資料,並能夠將轉換的結果載入多個目的地,例如 Azure SQL 資料庫、Lakehouse 等等。
  • 端對端整合流程自動化:管線提供活動的協調流程,包括複製、資料流和筆記本活動等等。 這可讓您在單一位置管理各種活動。 管線中的活動可以鏈結在一起以循序方式運作,或是以平行方式獨立運作。

在此端對端資料整合使用案例中,您將了解:

  • 如何使用管線中的複製助理內嵌資料
  • 如何使用具有無程式碼體驗的資料流程來轉換資料,或撰寫您自己的程式碼來處理具有指令碼或筆記本活動的資料
  • 如何使用具有觸發程式和彈性控制流程活動的管線,實現整個端對端資料整合流程的自動化。

架構

在接下來的 50 分鐘內,您將負責完成端對端資料整合案例。 這包括從來源存放區擷取未經處理資料到 Lakehouse 的銅級資料表、處理所有資料、將其移至 Data Lakehouse 的金級資料表、在所有工作完成之後傳送電子郵件通知您,以及最後設定整個流程為排程執行。

案例分成三個模組:

教學課程之資料流程和課程模組的圖表。

您可以使用範例資料集 NYC-Taxi 作為教學課程的資料來源。 完成之後,您將能夠在 Microsoft Fabric 中使用 Data Factory,深入了解特定時段內計程車票價的每日折扣。

在此端對端教學課程的簡介 (使用 Microsoft Fabric 中的 Data Factory 進行首次資料整合) 中,您已了解:

  • Microsoft Fabric 的值和角色
  • Fabric 中 Data Factory 的值和角色
  • Data Factory 的關鍵功能
  • 在本教學課程中,您將了解

現在請繼續前往下一節,以建立資料管線。