共用方式為


Microsoft Fabric 中 Data Factory 的新功能和計劃

重要

發行方案描述可能或可能尚未發行的功能。 傳遞時程表和投影功能可能會變更或可能不會出貨。 如需詳細資訊,請參閱Microsoft原則。

Microsoft Fabric 中的 Data Factory 會將公民數據整合和 Pro 數據整合功能結合成單一的新式數據整合體驗。 它提供超過 100 個關係型和非關係資料庫、Lakehouses、數據倉儲、REST API、OData 等泛型介面的連線能力。

數據流:數據流 Gen2 可讓您執行大規模的數據轉換,並支援寫入 Azure SQL 資料庫、Lakehouse、數據倉儲等各種輸出目的地。 數據流編輯器提供超過 300 個轉換,包括以 AI 為基礎的選項,可讓您輕鬆地以比任何其他工具更好的彈性來轉換數據。 無論您是從非結構化數據源擷取數據,例如網頁或重塑Power Query 編輯器中的現有數據表,您都可以輕鬆地套用Power Query的數據擷取範例,其使用人工智慧 (AI) 並簡化程式。

數據管線: 數據管線提供建立多功能數據協調流程工作流程的功能,可將數據擷取、載入慣用數據存放區、筆記本執行、SQL 腳本執行等工作結合在一起。 您可以快速建置功能強大的元數據驅動數據管線,以自動化重複的工作。 例如,從資料庫中的不同數據表載入和擷取數據、逐一查看 Azure Blob 儲存體 中的多個容器等等。 此外,使用數據管線,您可以使用 Microsoft Graph 資料連線 ion (MGDC) 連接器,從 Microsoft 365 存取數據。

複製作業: 複製作業透過簡化且方便使用者使用的程式簡化資料擷取體驗,將數據從任何來源移至任何目的地的 PB 級別。 您可以使用各種資料傳遞樣式來複製數據,包括批次複製、累加複製等等。

Apache Airflow 作業: Apache Airflow 作業是新一代 Azure Data Factory 的工作流程協調流程管理員。 這是建立和管理 Apache Airflow 協調流程作業的簡單且有效率的方式,可讓您輕鬆大規模執行有向無循環圖表(DAG)。 Apache Airflow 作業可讓您使用程式代碼從豐富的數據源擷取、準備、轉換及協調數據的新式數據整合體驗。

資料庫鏡像: Fabric 中的資料庫鏡像是低成本、低延遲的解決方案,其設計方式為開放式標準(例如 Delta Lake 數據表格式)。 它可讓您快速地從各種系統複寫數據和元數據。 使用資料庫鏡像,您可以持續將數據資產復寫到 Microsoft Fabric OneLake 進行分析。 透過高度整合且易於使用的體驗,您現在可以簡化開始使用分析需求的方式。

若要深入了解,請參閱文件

投資領域

在接下來的幾個月里,Microsoft Fabric 中的 Data Factory 將會擴充其連線選項,並繼續新增至豐富的轉換和數據管線活動連結庫。 此外,它可讓您從操作資料庫執行即時高效能的數據複寫,並將此數據帶入湖中進行分析。

功能 預估發行時間表
數據流 Gen2 CI/CD 和公用 API 支援 Q4 2024
語意模型重新整理數據表和數據分割 Q4 2024
光纖Data Factory管線匯入和匯出 Q4 2024
Data Factory 的 Copilot (資料管線) Q4 2024
Azure SQL DB 的鏡像 Q4 2024
開啟鏡像 Q4 2024
數據管線公用 API SPN 支援 Q4 2024
Fabric 工作區變數的數據管線支援 Q4 2024
內部部署數據閘道自動更新 Q1 2025
VNET 閘道的數據管線支援 Q1 2025
數據流 Gen2 輸出目的地至 SharePoint 檔案 Q1 2025
輪轉視窗觸發程式的數據管線支援 Q1 2025
Azure Data Factory 專案 Q1 2025
其他來源的數據管線複製活動支援 Q1 2025
數據流第 2 代平行執行 Q1 2025
資料來源身分識別管理 (Azure 金鑰保存庫) Q1 2025
CosmosDB 的鏡像 Q1 2025
數據流 Gen2 CI/CD 和公用 API 支援 Q1 2025
數據流 Gen2 公用 API SPN 支援 Q1 2025
數據流 Gen2 累加式重新整理 Q1 2025
Lakehouse 目的地的數據流 Gen2 累加式重新整理支援 Q1 2025
數據流 Gen2 參數化 Q1 2025
數據流 Gen2 支援另存新專案 Q1 2025
數據流 Gen1 支援 [另存新數據流 Gen2] 新專案 Q1 2025
複製作業 - 增量複製,而不需要使用者指定浮水印數據行 Q1 2025
複製作業 Q1 2025
複製作業 CI/CD 支援 Q1 2025
複製作業公用 API 支援 Q1 2025
數據流 Gen2 支援其他快速複製來源 Q1 2025
複製其他來源的作業支援 Q1 2025
OneLake 記憶體事件觸發程式的數據管線支援 Q1 2025
讓客戶參數化其連線 Q1 2025
DBT 的數據管線支援 Q1 2025
線上中使用者指派的受控識別支援 Q2 2025
Fabric 中的 Azure Data Factory 出貨 (第 3 季 2024)
支援叫用跨工作區數據管線 出貨 (第 3 季 2024)
內部部署數據閘道 (OPDG) 支援已新增至資料管線 出貨 (第 3 季 2024)
複製作業 出貨 (第 3 季 2024)
雪花的鏡像 出貨 (第 3 季 2024)
已改善重新整理失敗的電子郵件通知 出貨 (第 3 季 2024)
數據流 Gen2 中的快速複製支援 出貨 (第 3 季 2024)
數據流 Gen2 中的累加式重新整理支援 出貨 (第 3 季 2024)
資料來源身分識別管理 (受控識別) 出貨 (第 3 季 2024)
Azure Databricks 作業的數據管線支援 出貨 (第 3 季 2024)
Data Factory 的 Copilot (數據流) 出貨 (第 3 季 2024)
SparkJobDefinition 的數據管線支援 出貨 (2024 年第 2 季)
事件驅動觸發程式的數據管線支援 出貨 (2024 年第 2 季)
數據流 Gen 2 輸出目的地的暫存預設值 出貨 (2024 年第 2 季)
Azure HDInsight 的數據管線支援 出貨 (2024 年第 2 季)
複製活動的新連接器 出貨 (2024 年第 2 季)
Apache Airflow 作業:建置由 Apache Airflow 提供電源的數據管線 出貨 (2024 年第 2 季)
資料來源身分識別管理 (SPN) 出貨 (2024 年第 2 季)
適用於數據管線的 Data Factory Git 整合 出貨 (2024 年第 1 季)
資料流 Gen2 中輸出目的地的增強功能(查詢架構) 出貨 (2024 年第 1 季)
取得資料體驗改善(流覽 Azure 資源) 出貨 (2024 年第 1 季)
內部部署數據閘道 (OPDG) 支援已新增至資料管線 出貨 (2024 年第 1 季)
數據流 Gen2 中的快速複製支援 出貨 (2024 年第 1 季)
取消數據流 Gen2 中的重新整理支援 出貨 (第 4 季 2023)

數據流 Gen2 CI/CD 和公用 API 支援

預估發行時程表:Q4 2024

版本類型:公開預覽

資料流 Gen2 功能將會增強,以支援 Fabric 中的下列功能,包括:

  • 能夠在 ALM 部署管線中包含資料流 Gen2 專案。
  • 能夠利用數據流 Gen2 專案與原始檔控制 (Git 整合) 功能。
  • 數據流 Gen2 專案的公用 CRUDLE API。

這些是來自許多客戶的高度要求功能,我們很高興能以預覽功能的形式提供這些功能。

語意模型重新整理數據表和數據分割

預估發行時程表:Q4 2024

版本類型:公開預覽

管線用戶對於我們非常受歡迎的語意模型重新整理管線活動非常興奮。 常見的要求是藉由重新整理模型中的特定數據表和數據分割來改善其 ELT 處理管線。 我們現在已啟用這項功能,讓管線活動成為重新整理網狀架構語意模型的最有效方式!

光纖Data Factory管線匯入和匯出

預估發行時程表:Q4 2024

發行類型:正式運作

身為 Data Factory 管線開發人員,您通常會想要匯出管線定義,以與其他開發人員共用,或在其他工作區中重複使用。 我們現在已新增從 Fabric 工作區導出和匯入 Data Factory 管線的功能。 這項功能強大的功能可啟用更多共同作業功能,並在使用我們的支援小組對管線進行疑難解答時非常寶貴。

Data Factory 的 Copilot (資料管線)

預估發行時程表:Q4 2024

版本類型:公開預覽

Data Factory 的 Copilot (資料管線)可讓客戶使用自然語言建置數據管線,並提供疑難解答指引。

Azure SQL DB 的鏡像

預估發行時程表:Q4 2024

發行類型:正式運作

鏡像提供順暢的 no-ETL 體驗,可將現有的 Azure SQL DB 數據與 Microsoft Fabric 中的其餘數據整合。 您可以近乎即時地將 Azure SQL DB 數據直接復寫到 Fabric OneLake,而不會影響交易式工作負載的效能。

深入瞭解 Microsoft Fabric 中的鏡像

開啟鏡像

預估發行時程表:Q4 2024

版本類型:公開預覽

Open Mirroring 是一項功能強大的功能,可藉由允許任何應用程式或數據提供者以最少的努力,將數據資產直接帶入 OneLake,藉此增強 Fabric 的擴充性。 藉由讓數據提供者和應用程式直接在 Fabric 內將變更數據寫入鏡像資料庫,Open Mirroring 可簡化複雜數據變更的處理,確保所有鏡像數據持續處於最新狀態並準備好進行分析。

數據管線公用 API SPN 支援

預估發行時程表:Q4 2024

版本類型:公開預覽

為了在 Fabric 中使用管線 REST API 更容易且更安全,我們將啟用公用 API 的 SPN(服務主體)支援。

Fabric 工作區變數的數據管線支援

預估發行時程表:Q4 2024

版本類型:公開預覽

在網狀架構 Data Factory 管線環境中實作 CICD 時,請務必從開發更新值,以測試為 prod 等等。藉由在 Fabric 內部使用變數,您可以在環境之間取代值,也可以跨類似 ADF 全域參數的管線共用值。

內部部署數據閘道自動更新

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

內部部署數據閘道自動升級功能可確保閘道一律會執行最新版本,提供改良的功能、安全性更新和新功能,而不需要手動介入。 這項功能可自動下載並安裝更新,藉以簡化閘道的管理。

VNET 閘道的數據管線支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

VNET 數據閘道將支援網狀架構數據管線,包括管線複製活動和其他管線活動。 客戶將能夠透過 VNET 資料閘道安全地連線到其管線中的數據源。

數據流 Gen2 輸出目的地至 SharePoint 檔案

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

使用 Dataflow Gen 2 清除和準備數據之後,此功能可讓選取 SharePoint 檔案作為其數據目的地。 這項功能可讓您輕鬆地將轉換的數據導出至 CSV 檔案,並將其儲存在 sharePoint Microsoft,讓具有網站許可權的所有人使用。

輪轉視窗觸發程式的數據管線支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

使用非重疊且可以「重新執行」的時間範圍排程管線執行,是許多 ADF 用戶喜歡使用的管線中非常重要的功能。 我們非常興奮能將此輪轉視窗功能帶入管線排程至 Fabric Data Factory。

Azure Data Factory 專案

預估發行時程表:2025 年第 1 季

發行類型:正式運作

我們非常興奮地宣佈 Azure Data Factory 專案在 Fabric 中正式推出。 有了這項新功能,現有的 ADF 使用者可以快速且輕鬆地從 Azure 將其數據處理站提供給其 Fabric 工作區。 現在,您可以直接從 Fabric 管理、編輯及叫用 ADF 管線!

其他來源的數據管線複製活動支援

預估發行時程表:2025 年第 1 季

發行類型:正式運作

我們正在擴充對 複製活動 中更多來源連接器的支援,讓客戶能夠順暢地從各種來源複製數據,包括 Teradata、Spark、Azure databricks delta lake、HubSpot、Cassandra、Salesforce Service Cloud、Oracle(配套)等。

數據流第 2 代平行執行

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

「使用者想要彈性的方式來定義其數據流 Gen2 轉換的邏輯,並使用不同的自變數平行處理執行。 現今,他們需要在其單一數據流內建立多個數據流或多個查詢,才能有可重複使用不同自變數的邏輯。

作為這項增強功能的一部分,我們將讓用戶能夠設定其整個數據流專案的“”foreach“迴圈迴圈,從獨立查詢驅動,做為參數值清單,逐一查看並驅動這個容器化方法進行平行處理和動態執行。

資料來源身分識別管理 (Azure 金鑰保存庫)

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

Azure 金鑰保存庫 支援 - 您可以將密鑰和秘密儲存在 Azure 金鑰保存庫,並連線到它。 如此一來,您就可以在單一位置管理密鑰。

CosmosDB 的鏡像

預估發行時程表:2025 年第 1 季

發行類型:正式運作

鏡像提供順暢的無 ETL 體驗,可將現有的 Azure Cosmos DB 數據與 Microsoft Fabric 中的其餘數據整合。 您可以近乎即時地將 Azure Cosmos DB 數據直接復寫到 Fabric OneLake,而不會影響交易式工作負載的效能。

數據流 Gen2 CI/CD 和公用 API 支援

預估發行時程表:2025 年第 1 季

發行類型:正式運作

數據流 Gen2 專案將支援 Fabric 中的 CI/CD 功能,包括原始檔控制(Git 整合)以及 ALM 部署管線。 此外,客戶將能夠透過網狀架構 REST API 以程式設計方式與 Fabric 中的數據流 Gen2 專案互動,支援透過資料流 Gen2 專案的 CRUDLE 作業。

數據流 Gen2 公用 API SPN 支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

數據流 Gen2 專案將會透過具有服務主體驗證支援的網狀架構 REST API 來支援。

數據流 Gen2 累加式重新整理

預估發行時程表:2025 年第 1 季

發行類型:正式運作

在 2024 年 9 月底,我們發行了數據流 Gen2 累加式重新整理作為公開預覽功能。 我們將繼續監視客戶意見反應,並增強此功能,以達到其正式運作,計劃於Q1CY2025結束。

Lakehouse 目的地的數據流 Gen2 累加式重新整理支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

數據流 Gen2 累加式重新整理會優化數據流執行,以便根據 datetime 數據分割數據行擷取數據流數據源中變更的最新數據。 這可確保數據可以累加載載 OneLake 以進行下游轉換,或輸出至數據流輸出目的地。

在這項增強功能中,我們將提供累加式重新整理的直接支援,以將數據直接輸出至 Fabric Lakehouse 數據表。

數據流 Gen2 參數化

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

用戶習慣於執行元數據驅動管線,他們可以將變數或參數插入管線的不同活動,進而以更動態的方式執行專案:建立一次、重複使用多次。

在這項增強功能中,我們將讓它能夠透過 Fabric 中的數據管線執行數據流,並提供其現有數據流參數的參數值。

數據流 Gen2 支援另存新專案

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

客戶通常會想要將現有的數據流重新建立為新的數據流。 今天,為了達成此目的,他們需要從頭開始建立新的 Dataflow Gen2 專案,並複製並複製其現有的查詢,或利用導出/匯入 Power Query 範本功能。 不過,由於不必要的步驟,這不僅不方便,而且不會傳遞額外的數據流設定,例如排程的重新整理和其他專案屬性(名稱、描述、敏感度卷標等)。

在這項增強功能中,我們將提供數據流 Gen2 編輯體驗內的快速「另存新檔」手勢,讓使用者將現有的數據流儲存為新的數據流。

數據流 Gen1 支援 [另存新數據流 Gen2] 新專案

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

客戶通常會想要將現有的 Dataflow Gen1 專案重新建立為新的數據流 Gen2 專案。 今天,為了達成此目的,他們需要從頭開始建立新的 Dataflow Gen2 專案,並複製並複製其現有的查詢,或利用導出/匯入 Power Query 範本功能。 不過,由於不必要的步驟,這不僅不方便,而且不會傳遞額外的數據流設定,例如排程的重新整理和其他專案屬性(名稱、描述、敏感度卷標等)。

在這項增強功能中,我們將提供數據流 Gen1 編輯體驗內的快速「另存新檔」手勢,讓使用者將現有的數據流 Gen1 專案儲存為新的數據流 Gen2 專案。

複製作業 - 增量複製,而不需要使用者指定浮水印數據行

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

我們將介紹密鑰連接器複製作業中的原生 CDC(異動數據擷取)功能。 這表示累加複製會自動偵測變更,不需要客戶指定累加數據行。

複製作業

預估發行時程表:2025 年第 1 季

發行類型:正式運作

Data Factory 中的複製作業會將數據擷取體驗提升為從任何來源到任何目的地的更精簡且方便用戶的程式。 現在,複製您的數據比以往更容易。 複製作業支援各種數據傳遞樣式,包括批次複製和增量複製,提供彈性以符合您的特定需求。

複製作業 CI/CD 支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

複製作業項目將支援 Fabric 中的 CI/CD 功能,包括原始檔控制(Git 整合)以及 ALM 部署管線。

複製作業公用 API 支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

客戶將能夠透過網狀架構公用 API 以程式設計方式與 Fabric 中的複製作業項目互動,支援透過複製作業專案進行 CRUDLE 作業

數據流 Gen2 支援其他快速複製來源

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

我們正在擴充數據流 Gen2 中的快速複製,以支援更多來源連接器,讓客戶以更高的效能載入數據。 新的連接器將包含 Fabric Lakehouse 檔案、Google BigQuery、Amazon Redshift 等等,讓數據整合更快且更有效率。

複製其他來源的作業支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

我們正在擴充對複製作業中更多來源連接器的支援,讓客戶能夠順暢地從各種來源複製數據。 同時,我們會保留簡化的體驗,同時提供多樣化的複製模式,包括完整複製和累加複製。

OneLake 記憶體事件觸發程式的數據管線支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

用來叫用 Fabric Data Factory 中管線的熱門機制是使用檔案觸發程式。 當針對 Blob 存放區或 ADLS Gen2 偵測到檔案事件(亦即檔案抵達、檔案刪除 ...)時,將會叫用您的 Fabric Data Factory 管線。 現在我們已將 OneLake 檔案事件新增至 Fabric 中的觸發程式事件類型。

讓客戶參數化其連線

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

線上提供定義資料存放區連線和驗證的通用架構。 這些連線可以跨不同的項目共用。 透過參數化支援,您將能夠建置複雜且可重複使用的管線、筆記本、數據流和其他項目類型。

DBT 的數據管線支援

預估發行時程表:2025 年第 1 季

版本類型:公開預覽

DBT CLI 協調流程(數據建置工具):納入數據轉換工作流程的數據建置工具(dbt)。

線上中使用者指派的受控識別支援

預估發行時程表:2025 年第 2 季

版本類型:公開預覽

這項增強功能可支援連線中使用者指派的受控識別,藉由提供更安全且更有彈性的驗證方法來存取數據資源,以提供重要的價值。 它可避免硬式編碼認證、藉由消除輪替秘密的需求來簡化管理、確保與安全策略的合規性、與 Azure 服務緊密整合,以及允許多個實例共用相同的身分識別,以支援連線的延展性。

出貨功能(秒)

Fabric 中的 Azure Data Factory

出貨 (第 3 季 2024)

版本類型:公開預覽

將現有的 Azure Data Factory (ADF) 帶入您的網狀架構工作區! 這是新的預覽功能,可讓您從網狀架構工作區連線到現有的ADF Factory。

您現在可以直接從網狀架構工作區 UI 完全管理您的 ADF 處理站! 一旦 ADF 連結到您的網狀架構工作區之後,您就可以像在 ADF 中一樣觸發、執行及監視管線,但直接在 Fabric 內部執行。

支援叫用跨工作區數據管線

出貨 (第 3 季 2024)

版本類型:公開預覽

叫用管線活動更新:我們正在為叫用管線活動啟用一些全新且令人興奮的更新。 為了回應壓倒性的客戶和社群要求,我們正在跨工作區執行數據管線。 您現在可以從您有權執行的其他工作區叫用管線。 這可啟用非常令人興奮的數據工作流程模式,以利用數據工程和跨工作區和功能小組的整合小組共同作業。

內部部署數據閘道 (OPDG) 支援已新增至資料管線

出貨 (第 3 季 2024)

發行類型:正式運作

這項功能可讓數據管線使用網狀架構數據閘道來存取內部部署和虛擬網路後方的數據。 對於使用自我裝載整合運行時間 (SHIR) 的使用者,他們將能夠移至 Fabric 中的內部部署數據閘道。

複製作業

出貨 (第 3 季 2024)

版本類型:公開預覽

複製作業可簡化需要內嵌數據的客戶體驗,而不需要建立數據流或數據管線。 複製作業支援從任何數據源到任何數據目的地的完整和累加複製。 立即註冊 Private Preview。

雪花的鏡像

出貨 (第 3 季 2024)

發行類型:正式運作

鏡像提供順暢的 no-ETL 體驗,將現有的 Snowflake 數據與 Microsoft Fabric 中的其餘數據整合。 您可以近乎即時地將 Snowflake 數據直接復寫到 Fabric OneLake,而不會影響交易式工作負載的效能。

已改善重新整理失敗的電子郵件通知

出貨 (第 3 季 2024)

版本類型:公開預覽

電子郵件通知可讓數據流 Gen2 建立者監視數據流重新整理作業的結果(成功/失敗)。

數據流 Gen2 中的快速複製支援

出貨 (第 3 季 2024)

發行類型:正式運作

我們會使用管線複製活動功能,直接在數據流 Gen2 體驗中新增大規模數據擷取的支援。 這項增強功能可大幅提升數據流 Gen2 的數據處理容量,以提供大規模的 ELT(Extract-Load-Transform) 功能。

數據流 Gen2 中的累加式重新整理支援

出貨 (第 3 季 2024)

版本類型:公開預覽

我們正在數據流 Gen2 中新增累加式重新整理支援。 這項功能可讓您以累加方式從數據源擷取數據、套用Power Query轉換,以及載入各種輸出目的地。

資料來源身分識別管理 (受控識別)

出貨 (第 3 季 2024)

版本類型:公開預覽

這可讓受控識別在工作區層級進行設定。 您可以使用網狀架構受控識別安全地連線到您的數據源。

Azure Databricks 作業的數據管線支援

出貨 (第 3 季 2024)

版本類型:公開預覽

我們正在更新 Data Factory 數據管線 Azure Databricks 活動,以使用最新的作業 API 來啟用令人興奮的工作流程功能,例如執行 DLT 作業。

Data Factory 的 Copilot (數據流)

出貨 (第 3 季 2024)

發行類型:正式運作

Data Factory 的 Copilot (Dataflow) 可讓客戶在使用 Dataflows Gen2 建立數據整合解決方案時,使用自然語言表達其需求。

SparkJobDefinition 的數據管線支援

出貨 (2024 年第 2 季)

發行類型:正式運作

現在,您可以直接從管線活動執行 Spark 程式代碼,包括 JAR 檔案。 只要指向 Spark 程式代碼,管線就會在 Fabric 中的 Spark 叢集上執行作業。 這項新活動可讓令人興奮的數據工作流程模式運用 Fabric Spark 引擎的強大功能,同時在與 Spark 作業相同的管線中包含 Data Factory 控制流程和數據流功能。

事件驅動觸發程式的數據管線支援

出貨 (2024 年第 2 季)

版本類型:公開預覽

叫用 Data Factory 數據管線的常見使用案例是在檔案抵達和檔案刪除等檔案事件時觸發管線。 對於來自 ADF 或 Synapse 至 Fabric 的客戶,使用 ADLS/Blog 記憶體事件是很常見的方法,可用來發出新管線執行訊號,或擷取所建立檔案的名稱。 Fabric Data Factory 中的觸發程式會利用 Fabric 平臺功能,包括 EventStreams 和 Reflex 觸發程式。 在 Fabric Data Factory 管線設計畫布內,您會有一個 [觸發程式] 按鈕,您可以按下來建立管線的 Reflex 觸發程式,也可以直接從數據啟動器體驗建立觸發程式。

數據流 Gen 2 輸出目的地的暫存預設值

出貨 (2024 年第 2 季)

版本類型:公開預覽

數據流 Gen2 提供將各種數據源的數據內嵌至 Fabric OneLake 的功能。 在暫存此數據時,可利用大規模數據流 Gen2 引擎(以 Fabric Lakehouse/Warehouse SQL 計算為基礎)進行大規模轉換。

數據流 Gen2 的預設行為是在 OneLake 中暫存數據,以啟用大規模的數據轉換。 雖然這很適用於大規模案例,但對於涉及少量數據內嵌的案例,因為它會在最終載入數據流輸出目的地之前,為數據引入額外的躍點(預備),所以效果不佳。

透過規劃的增強功能,我們會針對不需要預備的輸出目的地查詢,微調要停用的預設預備行為(也就是 Fabric Lakehouse 和 Azure SQL 資料庫)。

您可以透過 [查詢設定] 窗格或 [查詢] 窗格中的查詢內容功能表,手動設定每個查詢的暫存行為。

Azure HDInsight 的數據管線支援

出貨 (2024 年第 2 季)

發行類型:正式運作

HDInsight 是適用於 Hadoop 的 Azure PaaS 服務,可讓開發人員在雲端中建置非常強大的巨量數據解決方案。 新的 HDI 管線活動會在 Data Factory 數據管線內啟用 HDInsights 作業活動,類似於您在 ADF 和 Synapse 管線中多年來所加入的現有葬禮。 我們現在已將這項功能直接帶入網狀架構數據管線。

複製活動的新連接器

出貨 (2024 年第 2 季)

版本類型:公開預覽

新的連接器將新增至 複製活動,讓客戶能夠從下列來源擷取,同時利用數據管線:Oracle、MySQL、Azure AI 搜尋、Azure 檔案儲存體、Dynamics AX、Google BigQuery。

Apache Airflow 作業:建置由 Apache Airflow 提供電源的數據管線

出貨 (2024 年第 2 季)

版本類型:公開預覽

Apache Airflow 作業(先前稱為「數據工作流程」是由 Apache Airflow 提供電源,並提供整合式 Apache Airflow 運行時間環境,可讓您輕鬆撰寫、執行及排程 Python DAG。

資料來源身分識別管理 (SPN)

出貨 (2024 年第 2 季)

發行類型:正式運作

服務主體 - 若要存取受 Azure AD 租使用者保護的資源,需要存取權的實體必須以安全性主體表示。 您將能夠使用服務主體連線到數據源。

適用於數據管線的 Data Factory Git 整合

出貨 (2024 年第 1 季)

版本類型:公開預覽

您可以連線到 Git 存放庫,以共同作業的方式開發數據管線。 數據管線與 Fabric 平臺的應用程式生命週期管理 (ALM) 功能整合可啟用版本控制、分支、認可和提取要求。

資料流 Gen2 中輸出目的地的增強功能(查詢架構)

出貨 (2024 年第 1 季)

版本類型:公開預覽

我們正在使用下列高度要求的功能來增強數據流 Gen2 中的輸出目的地:

  • 設定輸出目的地之後,能夠處理查詢架構變更。
  • 用來加速數據流建立的預設目的地設定。

若要深入瞭解,請參閱 數據流 Gen2 數據目的地和受控設定

取得資料體驗改善(流覽 Azure 資源)

出貨 (2024 年第 1 季)

版本類型:公開預覽

流覽 Azure 資源可讓您順暢地流覽 Azure 資源。 您可以輕鬆地流覽 Azure 訂用帳戶,並透過直覺式使用者介面連線到數據源。 它可協助您快速尋找並連線到所需的數據。

內部部署數據閘道 (OPDG) 支援已新增至資料管線

出貨 (2024 年第 1 季)

版本類型:公開預覽

這項功能可讓數據管線使用網狀架構數據閘道來存取內部部署和虛擬網路後方的數據。 對於使用自我裝載整合運行時間 (SHIR) 的使用者,他們將能夠移至 Fabric 中的內部部署數據閘道。

數據流 Gen2 中的快速複製支援

出貨 (2024 年第 1 季)

版本類型:公開預覽

我們會使用管線複製活動功能,直接在數據流 Gen2 體驗中新增大規模數據擷取的支援。 這支援 Azure Data Lake Storage 和 Blob 記憶體中的 Azure SQL 資料庫、CSV 和 Parquet 檔案等來源。

這項增強功能可大幅提升數據流 Gen2 的數據處理容量,以提供大規模的 ELT(Extract-Load-Transform) 功能。

取消數據流 Gen2 中的重新整理支援

出貨 (第 4 季 2023)

版本類型:公開預覽

我們正在新增支援,以取消工作區項目檢視中的數據流 Gen2 重新整理。