共用方式為


什麼是 Data Factory for Microsoft Fabric 中的複製作業 (預覽)

Fabric 中的 Data Factory 可讓使用者透過可視化直覺的介面,順暢地整合來自 100 多個內建連接器的數據,包括來源和目的地。 複製活動 可在數據管線內運作,有助於數據擷取。 同時,數據流 Gen2 支援數據轉換,而管線會協調整合流程。

複製作業的優點

雖然數據管線內的 複製活動 會處理大量/批次作業的數據擷取,但在Data Factory中建立數據管線仍對許多不熟悉字段的用戶來說仍具有挑戰性,且學習曲線較陡峭。 因此,我們很高興引進複製作業,將數據擷取體驗提升為從任何來源到任何目的地的更精簡且方便用戶的程式。 現在,複製您的數據比以往更容易。 此外,複製作業支援各種數據傳遞樣式,包括批次複製和累加複製,提供彈性以符合您的特定需求。

顯示 [複製作業及其結果] 窗格的螢幕快照。

複製作業與其他數據移動方法的一些優點包括:

  • 直覺式體驗:體驗順暢的數據複製,且不會遭到入侵,使其比以往更容易。
  • 效率:輕鬆啟用累加式複製,減少手動操作。 此效率會轉譯為較少的資源使用率和更快的複製持續時間。
  • 彈性:雖然享有簡單性,但您也可以彈性控制數據移動。 選擇要複製的數據表和數據行、對應數據、定義讀取/寫入行為,以及設定符合您需求的排程,無論是一次性工作還是週期性作業。
  • 健全的效能:無伺服器設定可讓您使用大規模平行處理原則進行數據傳輸,以最大化系統的數據移動輸送量。

支援的連接器

目前,您可以使用複製作業進行雲端數據傳輸,或透過閘道從內部部署資料存放區複製資料。 複製作業支援下列資料存放區作為來源和目的地:

  • Azure SQL DB
  • 內部部署 SQL Server
  • Fabric 倉儲
  • Fabric Lakehouse
  • Amazon S3
  • Azure Data Lake Storage Gen2
  • Azure Blob 儲存體
  • Amazon RDS for SQL Server

產品小組正在探索進一步的連接器支援,因此 請隨時瞭解更新

複製行為

您可以從下列數據傳遞樣式中選擇。

  • 完整複製模式:每個複製作業執行都會一次將所有數據從來源複製到目的地。
  • 累加複製模式:初始作業執行會複製所有數據,而後續作業只會複製上次執行后的變更。 已變更的數據會附加至目的地存放區。

您也可以選擇將資料寫入目的地存放區的方式。

根據預設,複製作業 會將 數據附加至目的地,讓您不會錯過任何變更歷程記錄。 但是,您也可以調整寫入行為以 向上插入覆寫

  • 將資料複製到記憶體存放區時:數據表或檔案中的新數據列會複製到目的地中的新檔案。 如果目標存放區上已經存在具有相同名稱的檔案,則會覆寫它。
  • 將資料複製到資料庫時:數據表或檔案的新數據列會附加至目的地數據表。 您可以將寫入行為變更為 upsert (在 SQL DB 或 SQL Server 上)或覆寫 (在 Fabric Lakehouse 數據表上)。

累加資料行

在累加複製模式中,您必須為每個數據表選取累加數據行,以識別變更。 複製作業會使用此資料行做為浮浮水印,比較其值與上次執行相同的值,以便只複製新的或更新的數據。 累加數據行必須是時間戳或增加的 INT。

區域可用性

複製作業具有與管線相同的區域可用性。

定價

複製作業使用相同的計費計量: 數據移動,使用相同的耗用量率。