Azure Data Factory 的新功能封存
Azure Data Factory 會持續改善。 為了讓您隨時掌握最新的開發訊息,請參閱目前的新功能頁面,此頁面提供下列相關資訊:
- 最新版本。
- 已知問題。
- 錯誤修正。
- 已被取代的功能。
- 方案變更。
此封存頁面會保留較舊月份的更新。
查看我們所有每月更新的新功能影片封存。
2023 年 9 月
Pipelines
已新增對 Azure SQL 中動態完整和增量處理的中繼資料驅動管線支援 深入了解
2023 年 8 月
異動資料擷取
資料流程
資料移動
整合執行階段
自我裝載整合執行階段現在支援獨立式互動式製作 (預覽) 深入了解
2023 年 7 月
異動資料擷取
最上層 CDC 資源現在支援結構描述演進。 深入了解
資料流程
差異接收器中的合併結構描述選項現在支援對應資料流程中的結構描述演進。 深入了解
資料移動
開發人員生產力
文件搜尋現在包括在 Azure Data Factory 搜尋工具列中。 深入了解
2023 年 6 月
持續整合和持續部署
npm 套件現在支援用來建置 ARM 範本的預先下載搭售方案。 如果您的防火牆設定將會封鎖 npm 套件的直接下載,則您現在可以預先載入套件,並讓 npm 套件改用本機版本。 這是防火牆環境中 CI/CD 管線的進階提升。
區域擴充
Azure Data Factory 現在已在瑞典中部中推出。 如果您要利用區域來儲存和管理您的新式資料倉儲,則可以在這個新區域中共置您的 ETL 工作流程。 深入了解
資料移動
現在支援使用 Azure Data Factory 的輸出網路規則來保護輸出流量。 深入了解
連接器
使用對應資料流程,現在支援將 Amazon S3 連接器作為接收器目的地。 深入了解
資料流程
我們在最上層 CDC 資源中介紹 DelimitedText 和 JSON 來源的選用來源設定。 資料處理站中的最上層 CDC 資源現在支援分隔和 JSON 來源的選用來源設定。 您現在可以選取分隔來源的資料行/資料列分隔符號,並設定 JSON 來源的文件類型。 深入了解
2023 年 5 月
Microsoft Fabric 中的 Data Factory
Microsoft Fabric 中的 Data Factory 提供雲端規模的資料移動和資料轉換服務,可讓您解決最複雜的資料處理站和 ETL 案例。 其旨在讓您的資料處理站體驗更易於使用、更強大且真正企業級。
2023 年 4 月
資料流程
輕鬆地在 ADF 資料流程中取消標籤多個陣列。 ADF 已更新 Flatten 轉換,現在可讓您從單一 Flatten 轉換步驟取消註冊多個陣列。 深入了解
持續整合和持續部署
您現在可以在 Git 模式中自訂認可訊息。 輸入您所做的變更詳細描述,並將其儲存至 Git 存放庫。
連接器
Azure Blob 儲存體連接器現在支援匿名驗證。 深入了解
2023 年 3 月
連接器
Azure Data Lake Storage Gen2 連接器現在支援共用存取簽章驗證。 深入了解
2023 年 2 月
資料移動
協調流程
開發人員生產力
已新增深色主題支援 (公開預覽) 深入了解
2023 年 1 月
資料流程
資料移動
新的最上層 CDC 資源 - 3 個簡單步驟進行原生 CDC 設定 深入了解
協調流程
以原生方式協調 Synapse 筆記本和 Synapse Spark 工作定義 深入了解
區域擴充
SQL Server Integration Services (SSIS)
SSIS 的快速虛擬網路插入現已正式推出 深入了解
開發人員生產力
- 已新增對首頁上偏好資源的支援
- 儲存管線監視的資料行寬度
- 監視篩選更新以加速搜尋
- 透過 Azure 入口網站直接啟動管線範本資源庫
2022 年 12 月
資料流程
SQL 異動資料擷取 (CDC) 累加擷取 - 支援對應資料流程中的數值資料行 深入了解
資料移動
Azure Data Factory 中 SSIS 的快速虛擬網路插入已正式推出 深入了解
區域擴充
持續區域擴展 - Azure Data Factory 現在已於中國北部 3 推出 深入了解
2022 年 11 月
資料流程
- 累加僅可在 SAP CDC 中使用 - 僅從 SAP 系統取得變更,而不需要初始完整載入 深入了解
- 在 SAP CDC 初始完整資料載入中的來源資料分割可改善效能 深入了解
- 新的管線範本 - 透過 SAP CDC 載入具有大量 SAP 的多個物件 深入了解
資料移動
- 透過 Data Factory 受控虛擬網路的私人連結支援 Azure Databricks 深入了解
使用者介面
2 已新增至 ADF Studio 預覽體驗的管線設計工具增強功能
持續整合和持續部署
在自動發佈設定中,停用發佈按鈕可用來使上次自動發佈部署覆寫無效 深入了解
2022 年 10 月
影片摘要
資料流程
- 從資料流程預覽最多匯出 1000 個資料列 深入了解
- 對應資料流程中的 SQL CDC 現已可用 (公開預覽) 深入了解
- 使用 Microsoft 365 對應資料流程連接器將進階分析解除鎖定 深入了解 (英文)
- SAP 異動資料擷取 (CDC) 現已正式推出 深入了解
開發人員生產力
- 現在接受社群對範本庫的貢獻 深入了解 (英文)
- Azure 入口網站的新設計 - 輕鬆探索如何啟動 ADF Studio 深入了解
- Azure Data Factory Studio 現已提供學習中心 深入了解 (英文)
- 按一下以嘗試 Azure Data Factory 深入了解
協調流程
區域擴充
持續區域擴充 - 現已支援卡達中部 深入了解
持續整合和持續部署
排除部署中未變更的管線觸發程序現已正式推出 深入了解 (英文)
2022 年 9 月
影片摘要
資料流程
- 已新增 Amazon S3 來源連接器 深入了解
- Google Sheets REST 型連接器已新增為來源 (預覽) 深入了解
- 資料流程中的資料行最佳化上限 深入了解
- 對應資料流程中的 SAP 異動資料擷取功能 (預覽) - 從 SAP 系統擷取和轉換資料變更,以取得更有效率的資料重新整理 深入了解
- 適用於對應資料流的 Dynamics 365/CRM 連接器已支援透過替代索引鍵將資料寫入 lookup 欄位 深入了解
資料移動
支援將 Oracle NUMBER 類型轉換為來源中的對應整數 深入了解
監視
- Azure Data Factory 中的其他監視改善 深入了解 (英文)
- 監視載入改善 - 只有在展開時,管線才會重新執行擷取的群組資料
- 分頁已新增至管線活動執行檢視,以顯示管線執行中的所有活動記錄
- 監視使用量改善 - 已新增載入圖示以得知何時已完全計算使用量報告
- 監視中的其他排序資料行 - 針對管線名稱、執行結束和狀態新增排序
- 時區設定現在儲存在監視中
- IR 監視中現在支援甘特圖檢視 深入了解
協調流程
Web 活動中的 DELETE 方法現在支援使用 HTTP 要求傳送本文 深入了解
使用者介面
- 為 6 個其他連結服務新增參數化的原生 UI 支援 - SAP ODP、ODBC、Microsoft Access、Informix、Snowflake 和 DB2 深入了解
- Studio 預覽體驗中已新增管線設計工具增強功能 - 使用者可以檢視管線物件 (例如 For Each、If Then 等等) 內的工作流程深入了解
2022 年 8 月
影片摘要
資料流程
資料移動
為 Azure Blob 儲存體新增的服務主體驗證類型 深入了解
開發人員生產力
- 預設活動逾時從 7 天變更為 12 小時 深入了解 (英文)
- 新的資料處理站建立體驗 - 只需按一下即可在幾秒內準備好您的處理站 深入了解 (英文)
- 運算式產生器 UI 更新 - 新增更方便使用的類別索引標籤 深入了解
持續整合與持續傳遞 (CI/CD)
當 CI/CD 整合 ARM 範本,而不是關閉所有觸發程序時,此方法可以排除未在部署中變更的觸發程序 深入了解 (英文)
2022 年 7 月
影片摘要
資料流程
- Asana 連接器已新增為來源 深入了解
- 現在支援三個新的資料轉換函式 深入了解 (英文)
- collectUnique () - 在陣列中建立唯一值的新集合。
- substringIndex () - 在 n 個出現分隔符號之前擷取子字串。
- topN () - 排序資料之後,傳回前 n 個結果。
- 針對資料來源變更案例的重新整理,從其中可用的來源重新擷取 深入了解
- 使用者定義函式 (GA) - 建立可重複使用和自訂的運算式,以避免重複建置複雜的邏輯 深入了解 影片 (英文)
- 更輕鬆地設定資料流程執行階段 - 選擇小型、中型或大型的計算大小,以便預先設定所有整合執行階段設定 深入了解 (英文)
持續整合與持續傳遞 (CI/CD)
包括 ARM 範本支援的全域參數。 深入了解
開發人員生產力
參與 Azure Data Factory Studio 預覽功能 - 體驗最新的 Azure Data Factory 功能,並搶先分享意見反應 深入了解 (英文)
2022 年 6 月
影片摘要
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | 模糊聯結支援資料流程 | 在資料流程的聯結轉換中,現在支援模糊聯結,且聯結條件具有可設定的相似度分數。 深入了解 |
來源投影中的編輯功能 | 資料流程中提供來源投影中的編輯功能,以便輕鬆地修改結構描述 深入了解 | |
Assert 錯誤處理 | 資料品質與資料驗證的資料流程中現在支援 Assert 錯誤處理 深入了解 | |
資料移動 | 其他 4 個連接器中原生支援的參數化 | 我們已新增下列連結服務的參數化原生 UI 支援:Azure Data Lake Gen1、Azure PostgreSQL、Google AdWords 和 PostgreSQL。 深入了解 |
新的 SAP ODP 連接器中的 SAP 異動資料擷取 (CDC) 功能 (公開預覽) | 新的 SAP ODP 連接器現在支援 SAP 異動資料擷取 (CDC) 功能。 深入了解 | |
整合執行階段 | 受控 VNET 中的存留時間 (公開預覽) | 存留時間可以設定為受控 VNET 中佈建的計算。 深入了解 |
監視 | 使用新的參數重新執行管道 | 您現在可以在 Azure Data Factory 中使用新的參數值重新執行管道。 深入了解 |
協調流程 | Web 活動中提供 'turnOffAsync' 屬性 | Web 活動支援非同步要求-回覆模式,以在 HTTP 202 回應內回應標頭中的 [位置] 欄位上叫用 HTTP GET。 其可協助 Web 活動自動輪詢監視端點,直到作業執行為止。 在不需要輪詢的情況下,支援 'turnOffAsync' 屬性以停用此行為 深入了解 |
2022 年 5 月
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | 對應資料流的使用者定義函式 | Azure Data Factory 在公開預覽使用者定義函式和資料流程程式庫中引進。 使用者定義函數是自訂的運算式,您可以定義以在多個對應資料流之間重複使用邏輯。 使用者定義函數位於稱為資料流程程式庫的集合中,可輕鬆地將一組常見的自訂函數分組。 深入了解 |
2022 年 4 月
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | 對應資料流中的資料預覽和偵錯改進 | 使用 AutoResolve Azure 整合執行階段的偵錯工作階段 (IR) 現在會在 10 秒內啟動。 對應資料流中的資料預覽面板有新的更新。 現在,您可以選取資料行標頭來排序資料預覽檢視內的資料列。 您可以透過互動方式移動資料行。 您也可以使用匯出 CSV 將資料預覽結果儲存為 CSV。 深入了解 |
Dataverse 連接器可用於對應資料流 | Dataverse 連接器可用於對應資料流的來源和接收。 深入了解 | |
支援在資料流程接收中使用 Azure Synapse Analytics 和 PostgreSQL 連接器進行暫存的使用者資料庫結構描述 | 資料流程接收現在支援在 Azure Synapse Analytics 和 PostgreSQL 連接器中使用使用者資料庫結構描述進行暫存。 深入了解 | |
監視 | Data Factory 監視體驗的多個更新 | 更新 Data Factory 中的監控體驗,包括可將結果匯出成 CSV、清除所有篩選條件,以及在新索引標籤中開啟執行。資料行與結果的快取已改善。 深入了解 |
User Interface (使用者介面) | 新的地區格式支援 | 在設定中選擇您的語言和地區格式會影響日期與時間等資料在 Azure Data Factory Studio 監視中顯示方式的格式。 例如,當選擇英文作為地區格式時,監視中的時間格式會顯示為「Apr 2, 2022, 3:40:29 pm」,而選擇法文為地區格式時,便會顯示「2 Apr 2022, 15:40:29」。 這些設定只會影響 Azure Data Factory Studio 使用者介面,而不會變更/修改您的實際資料和時區。 |
2022 年 3 月
影片摘要
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | ScriptLines 和參數化連結服務支援新增的對應資料流 | 現在可以使用資料流程 JSON 定義中的 ScriptLines,輕鬆地偵測 Git 中資料流程指令碼的變更。 參數化連結服務現在也可以在資料流程內用於彈性的一般連線模式。 深入了解 |
Flowlets 正式發行 (GA) | Flowlet 現在已正式推出,可建立資料流程邏輯中可重複使用的部分,以便您可以在其他管道中共用為內嵌轉換。 Flowlet 可讓擷取-轉換-載入 (ETL) 作業由自訂或一般邏輯元件所組成。 深入了解 | |
變更摘要連接器可在五個資料流程來源轉換中使用 | 資料流程來源轉換中提供的變更摘要連接器適用於 Azure Cosmos DB、Azure Blob 儲存體、Azure Data Lake Storage Gen1、Azure Data Lake Storage Gen2,以及一般資料模型 (CDM)。 深入了解 | |
對應資料流中的資料預覽和偵錯改進 | 新功能已新增至資料預覽,以及對應資料流中的偵錯體驗。 深入了解 | |
用於對應資料流的 SFTP 連接器 | SFTP 連接器可用於將資料流程對應為來源和接收。 深入了解 | |
資料移動 | 在受控虛擬網路下查閱活動中支援 SQL 相關連接器的 Always Encrypted | Always Encrypted 支援受控虛擬網路下查閱活動中的 SQL Server、Azure SQL資料庫、Azure SQL 受控執行個體和 Synapse Analytics。 深入了解 |
整合執行階段 | Azure IR 建立和編輯頁面中的新 UI 配置 | IR 建立和編輯頁面的 UI 配置現在針對 [設定]、[虛擬網路] 和 [資料流程執行階段] 使用索引標籤樣式。 深入了解 |
協調流程 | 使用指令碼活動來轉換資料 | 您可以使用指令碼活動在 SQL Database、Azure Synapse Analytics、SQL Server、Oracle 或 Snowflake 中叫用 SQL 指令碼。 深入了解 |
Web 活動逾時改進 | 您可以在 Web 活動中設定回應逾時,以避免在回應期間超過 1 分鐘時超時,特別是在同步 API 的情況下。 深入了解 |
2022 年 2 月
影片摘要
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | 對應資料流中支援的參數化連結服務 | 您現在可以在對應資料流中使用參數化連結服務,讓您的資料流程管道成為一般且具有彈性。 深入了解 |
SQL Database 資料流程中可用的增量來源擷取 (公開預覽) | 已在對應資料流 SQL Database 來源上新增選項,稱為 [啟用累加擷取 (預覽)]。 現在,您可以使用資料流程,自動提取 SQL Database 來源上僅限已變更的資料列。 深入了解 | |
四個新的連接器可用於對應資料流 (公開預覽) | Data Factory 現在支援對應資料流的四個新連接器:Quickbase Connector、Smartsheet Connector、TeamDesk Connector 和 Zendesk Connector。 深入了解 | |
適用於對應資料流的 Azure Cosmos DB (SQL API) 現在支援內嵌模式 | 適用於對應資料流的 Azure Cosmos DB (SQL API) 現在使用內嵌資料集。 深入了解 | |
資料移動 | 於 10 分鐘內,在 Data Factory 資料複製工具上取得中繼資料驅動的資料擷取管線 (GA) | 您可以在 10 分鐘內,使用資料複製工具上的中繼資料驅動方法,建立大型資料複製管線。 深入了解 |
Data Factory Google AdWords 連接器 API 升級可供使用 | Data Factory Google AdWords 連接器現在支援新的 AdWords API 版本。 新的連接器使用者不需要採取任何動作,因為預設為啟用。 深入了解 | |
持續整合與持續傳遞 (CI/CD) | 跨租用戶 Azure DevOps 支援 | 使用 Azure DevOps Git 而非在與 Azure Data Factory 相同的租用戶內設定存放庫。 深入了解 |
區域擴充 | Data Factory 現已在美國西部 3 和 Jio 印度西部推出 | Data Factory 現已在兩個新區域中推出:美國西部 3 和 Jio 印度西部。 如果您使用這些區域來儲存和管理新式資料倉儲,您可以在這些新區域中共置 ETL 工作流程。 如果您需要從異地內的另一個區域容錯移轉,您也可以將這些區域用於商務持續性和災害復原用途。 深入了解 |
安全性 | 連線至另一個 Entra ID 租用戶中的 Azure DevOps 帳戶 | 您可以將您的 Data Factory 執行個體連線到不同 Azure AD 租用戶中的 Azure DevOps 帳戶,以進行原始檔控制。 深入了解 |
2022 年 1 月
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | 快速重複使用現在會在使用存留時間 (TTL) 的所有 Azure IR 中自動執行 | 您不再需要手動指定「快速重複使用」。 Data Factory 對應資料流現在可以在您設定 TTL 之後的五秒內啟動後續資料流程活動。 深入了解 |
擷取您的自訂 Assert 描述 | 在 Assert 轉換中,您可以定義自己的動態描述訊息。 您可以使用新的函式 assertErrorMessage () 來擷取逐列訊息,並將其儲存在目的地資料中。 深入了解 | |
剖析轉換中的自動結構描述偵測 | 新增至剖析轉換的新功能可讓您輕鬆地在字串資料行內自動偵測內嵌複雜欄位的結構描述。 選取 [偵測結構描述] 按鈕,以自動設定您的目標結構描述。 深入了解 | |
支援 Dynamics 365 連接器作為接收和來源 | 您現在可以直接連線至 Dynamics 365,透過使用適用於 Dynamics 365 的新對應資料流連接器來大規模轉換 Dynamics 資料。 深入了解 | |
Always Encrypted SQL 連線現已可在資料流程中使用 | 當您使用資料流程時,Always Encrypted 現在可以在 SQL Server、SQL Database、SQL 受控執行個體和 Azure Synapse 中進行來源轉換。 深入了解 | |
資料移動 | Data Factory Azure Databricks Delta Lake 連接器支援新的驗證類型 | Data Factory Databricks Delta Lake 連接器現在支援另外兩種驗證類型: 系統指派的受控識別驗證和使用者指派的受控識別驗證。 深入了解 |
Data Factory 複製活動支援數種更多連接器中的 Upsert | Data Factory 複製活動現在支援 upsert,同時將資料接收至 SQL Server、SQL Database、SQL 受控執行個體和 Azure Synapse。 深入了解 |
2021 年 12 月
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | Dynamics 連接器作為對應資料流的原生來源和接收 | Dynamics 連接器現在支援作為對應資料流的來源和接收。 深入了解 |
原生異動資料擷取 (CDC) 現已原生支援 | Azure Cosmos DB、Blob 儲存體、Data Lake Storage Gen1、Data Lake Storage Gen2 和 CDM 的 Data Factory 現在支援 CDC。 深入了解 | |
Flowlet 公開預覽 | Flowlet 公開預覽可讓資料流程開發人員建置可重複使用的元件,以輕鬆建置可組合的資料轉換邏輯。 深入了解 | |
地圖資料公開預覽 | 地圖資料預覽可讓商務使用者定義資料行對應和轉換,以載入 Azure Synapse Lake 資料庫。 深入了解 | |
來自 Power Query 的多個輸出目的地 | 您現在可以對應 Data Factory 中 Power Query 的多個輸出目的地,以取得公民資料整合者的彈性 ETL 模式。 深入了解 | |
外部呼叫轉換支援 | 使用外部呼叫轉換擴充對應資料流的功能。 您現在可以將自己的自訂程式碼新增為 REST 端點,或依資料列呼叫策展的協力廠商服務資料列。 深入了解 | |
Azure Synapse 對應資料流搭配 TTL 支援,以啟用快速重複使用 | Azure Synapse 對應資料流現在支援透過在 Azure IR 中設定 TTL 來快速重複使用。 使用設定可讓您的後續資料流程活動在五秒內執行。 深入了解 | |
判斷提示轉換 | 使用對應資料流中的 Assert 轉換,輕鬆地將資料品質、資料網域驗證和中繼資料檢查新增至 Data Factory 管道。 深入了解 | |
運算式產生器中的 IntelliSense 支援可讓管道撰寫體驗更具生產力 | 運算式產生器與動態內容撰寫中的 IntelliSense 支援,讓 Data Factory 與 Azure Synapse 管道開發人員在資料管線中撰寫複雜運算式時,能提高生產力。 深入了解 |
2021 年 11 月
服務類別 | 服務改進功能 | 詳細資料 |
持續整合與持續傳遞 (CI/CD) | GitHub 整合改進 | Data Factory 和 GitHub 整合的改進會根據每個資源類型移除 1,000 個 Data Factory 資源的限制,例如資料集和管道。 對於大型資料處理站,這項變更有助於減輕 GitHub API 速率限制的影響。 深入了解 |
數據流 | 設定具有失敗活動的自訂錯誤碼與錯誤訊息 | 失敗活動可讓 ETL 開發人員設定 Data Factory 管道的錯誤訊息和自訂錯誤碼。 深入了解 |
外部呼叫轉換 | 對應資料流外部呼叫轉換可讓 ETL 開發人員使用 REST 端點或協力廠商 API 服務所提供的轉換和資料擴充。 深入了解 | |
Synapse 快速重複使用 | 當您在 Synapse Analytics 中執行資料流程時,請使用 TTL 功能。 TTL 功能會使用快速重複使用功能,讓循序資料流程會在幾秒鐘內執行。 您可以在設定 Azure IR 時設定 TTL。 深入了解 | |
資料移動 | 複製活動支援從 FTP 或 SFTP 讀取資料而不進行區塊化 | 從 FTP 或 SFTP 伺服器複製資料時,自動判斷要讀取的檔案長度或相關位移。 使用這項功能,Data Factory 會自動連線至 FTP 或 SFTP 伺服器,以判斷檔案長度。 判斷長度之後,Data Factory 會將檔案分割成多個區塊,並以平行方式進行讀取。 深入了解 |
複製活動中支援無 BOM 的 UTF-8 | 複製活動支援針對 JSON 和分隔文字資料集,使用編碼類型 無 BOM 的 UTF-8 來撰寫資料。 | |
多重字元資料行分隔符號支援 | 複製活動支援針對分隔文字資料集使用多重字元資料行分隔符號。 | |
整合執行階段 | 在 Data Factory 中使用 SQL Server Integration Services (SSIS),以三個步驟執行任何程序 | 了解如何在管道中使用充分利用 Data Factory 和 SSIS 功能。 具有參數化屬性的範例 SSIS 套件可協助您快速開始使用。 透過 Data Factory Studio,SSIS 套件可以輕鬆地拖放至管道中,並用作執行 SSIS 套件活動的一部分。 這項功能可讓您在自我裝載 IR 或 SSIS IR 上使用 SSIS 套件來執行 Data Factory 管道。 藉由提供執行階段參數值,您可以將 Data Factory 和 SSIS 功能合併為強大功能。 本文說明執行任何程序的三個步驟,可以是任何可執行檔,例如應用程式、程式、公用程式或批次檔。 深入了解 |
2021 年 10 月
服務類別 | 服務改進功能 | 詳細資料 |
數據流 | Azure Data Explorer 和 Amazon Web Services (AWS) S3 連接器 | Microsoft 資料整合小組已發行兩個新的連接器來對應資料流。 如果您使用的是 Azure Synapse,則現在可以直接連線至 AWS S3 貯體以進行資料轉換。 在 Data Factory 和 Azure Synapse 中,您現在可以原生連線至對應資料流中的 Azure Data Explorer 叢集。 深入了解 |
Power Query 活動針對 GA 維持預覽 | Data Factory Power Query 管道活動現已正式推出。 這項新功能可為 Data Factory 瀏覽器 UI 內的公民整合者提供向外延展的資料準備和資料整頓,以獲得資料工程師的整合體驗。 Data Factory 中的 Power Query 資料整頓功能提供功能強大的易於使用管道功能,可解決單一服務中最複雜的資料整合和 ETL 模式。 深入了解 | |
在對應資料流中新增 Stringify 資料轉換 | 對應資料流會新增名為 Stringify 的新資料轉換,以便輕鬆地將結構與陣列等複雜資料類型轉換為字串形式。 然後,這些資料類型可以傳送至結構化輸出目的地。 深入了解 | |
整合執行階段 | SSIS IR 的快速虛擬網路插入 (公開預覽) | SSIS IR 現在支援快速虛擬網路插入。 深入了解: SSIS IR 的虛擬網路插入概觀 SSIS IR 的標準與快速虛擬網路插入 SSIS IR 的快速虛擬網路插入 |
安全性 | Azure Key Vault 整合改進 | Key Vault 整合現在具有下拉式清單,讓使用者可以在連結的服務中選取祕密值。 這項功能會增加生產力,因為使用者不需要輸入可能會導致人為錯誤的祕密。 |
支援 Data Factory 中使用者指派的受控識別 | 認證安全性對於任何企業而言都很重要。 Data Factory 小組致力於讓資料工程程序安全但簡單,以適合資料工程師使用。 支援 Azure AD 型驗證的所有連接器和連結服務現在都支援使用者指派的受控識別 (預覽)。 深入了解 |
2021 年 9 月
服務類別 | 服務改進功能 | 詳細資料 |
持續整合與持續傳遞 | 擴充的 CI/CD 功能 | 您現在可以根據 Data Factory 中的任何其他分支,建立新的 Git 分支。 深入了解 |
資料移動 | 適用於 Oracle 來源的 Amazon Relational Database Service (RDS) | Amazon RDS for Oracle 來源連接器現在可在 Data Factory 和 Azure Synapse 中使用。 深入了解 |
適用於 SQL Server 來源的 Amazon RDS | 適用於 SQL Server 來源的 Amazon RDS連接器現在可在 Data Factory 和 Azure Synapse 中使用。 深入了解 | |
支援從適用於 PostgreSQL 的 Azure 資料庫平行複製 | 適用於 PostgreSQL 的 Azure 資料庫連接器現在支援平行複製作業。 深入了解 | |
數據流 | 使用 Data Lake Storage Gen2 來執行前置和後置處理命令 | Hadoop 分散式檔案系統前置和後置處理命令現在可以使用資料流程中的 Data Lake Storage Gen2 接收來執行。 深入了解 |
編輯 Azure IR 現有執行個體的資料流程屬性 | Azure IR 已更新為允許編輯現有 IR 的資料流程屬性。 您現在可以修改資料流程計算屬性,而不需要建立新的 Azure IR。 深入了解 | |
Azure Synapse 的 TTL 設定,用來改善管道活動執行啟動時間 | Azure Synapse 已將 TTL 新增至 Azure IR,讓您的資料流程管道活動能夠在幾秒內開始執行,這可大幅減少資料流程管道的執行階段。 深入了解 | |
整合執行階段 | Data Factory 受控虛擬網路 GA | 您現在可以在受控虛擬網路中佈建 Azure IR,並使用私人端點安全地連線至支援的資料存放區。 資料流量會通過 Azure Private Link,以提供與資料來源的安全連線。 如此也能防止資料外流至公用網際網路。 深入了解 |
協調流程 | 提供用於資料管道的 SLA 並使其開始運作 | 新的已耗用時間管道執行計量與 Data Factory 警示結合,可讓資料管道開發人員更能為客戶提供 SLA。 現在您可以告訴我們管道應該執行多久,而我們將會主動通知您管道的執行時間何時超過預期。 深入了解 |
失敗活動 (公開預覽) | 新的失敗活動可讓您基於任何原因刻意在管線中擲回錯誤。 例如,如果查閱活動未傳回相符的資料,或自訂活動完成且發生內部錯誤,您可能會使用失敗活動。 深入了解 |
2021 年 8 月
服務類別 | 服務改進功能 | 詳細資料 |
持續整合與持續傳遞 | 在 Azure Government 和由 21Vianet 營運的 Microsoft Azure 透過 GitHub 支援進行 CI/CD 改進 | 我們已針對美國政府和由 21Vianet 營運的 Azure 在 Azure 中新增 GitHub 支援。 深入了解 |
資料移動 | 適用於 MongoDB 的 Azure Cosmos DB API 連接器支援 Data Factory 中的 3.6 和 4.0 版 | 適用於 MongoDB 連接器的 Data Factory Azure Cosmos DB API 現已支援伺服器版本 3.6 和 4.0。 深入了解 |
加強使用 COPY 陳述式將資料載入 Azure Synapse | Data Factory Azure Synapse 連接器現在支援在 COPY 陳述式使用 *.* 作為 wildcardFilename 進行階段性複製和複製來源。 深入了解 | |
數據流 | REST 端點可作為資料流程中的來源和接收 | Data Factory 和 Azure Synapse 中的資料流程現在支援 REST 端點同時作為來源與接收,同時為 JSON 和 XML 承載提供完整支援。 深入了解 |
整合執行階段 | 診斷工具適用於自我裝載 IR | 自我裝載 IR 的診斷工具是專門設計用來提供更好的使用者體驗,並協助使用者找出潛在的問題。 此工具會在自我裝載 IR 機器上執行一系列的測試案例。 每個案例都會有常見問題的一般健康情況檢查案例。 深入了解 |
協調流程 | 自訂事件觸發程式具有進階篩選選項 GA | 您現在可以建立觸發程序,以回應張貼至 Azure 事件方格的自訂主題。 您也可以使用進階篩選,以更精細地控制要回應的事件。 深入了解 |
2021 年 7 月
服務類別 | 服務改進功能 | 詳細資料 |
資料移動 | 於 10 分鐘內,在 Data Factory 資料複製工具上取得中繼資料驅動的資料擷取管道 (公開預覽) | 您現在可以在 10 分鐘內,使用資料複製工具 (公開預覽) 上的中繼資料驅動方法,建立大型資料複製管道。 深入了解 |
數據流 | 在資料流程轉換函式中新增的新對應函式 | 新的一組資料流程轉換函式可讓資料工程師能夠輕鬆產生、讀取及更新對應資料類型和複雜的對應結構。 深入了解 |
整合執行階段 | Data Factory 受控虛擬網路中有五個新區域 (公開預覽) | Data Factory 受控虛擬網路中提供五個新的區域:中國東部2、中國北部2、美國政府亞利桑那州、美國政府德克薩斯州和美國政府維吉尼亞州 (公開預覽)。 |
開發人員生產力 | Data Factory 首頁改進 | Data Factory 首頁已經過重新設計,具有更佳的對比和自動重排功能。 首頁中會介紹幾個區段,以協助您提升資料整合旅程中的生產力。 深入了解 |
Data Factory Studio 的新登陸頁面 | Azure 入口網站中 Data Factory 窗格的登陸頁面。 深入了解 |
2021 年 6 月
服務類別 | 服務改進功能 | 詳細資料 |
資料移動 | Data Factory 資料複製工具的新使用者體驗 | 重新設計的 [複製資料工具] 現已推出,其提供改善的資料擷取體驗。 深入了解 |
支援 MongoDB 和 MongoDB Atlas 作為來源和接收 | 這項改進支援在任何支援的資料存放區與 MongoDB 或 MongoDB Atlas 資料庫之間複製資料。 深入了解 | |
Always Encrypted 支援 SQL Database、SQL 受控執行個體和 SQL Server 連接器作為來源和接收 | Always Encrypted 可在適用於 SQL Database 的 Data Factory、SQL 受控執行個體和 SQL Server 連接器中供複製活動使用。 深入了解 | |
當接收至 Data Lake Storage Gen2 或 Blob 儲存體時,複製活動中支援設定自訂中繼資料 | 當您寫入 Data Lake Storage Gen2 或 Blob 儲存體時,複製活動支援將來源檔案上次修改資訊的自訂中繼資料或儲存體設定為中繼資料。 深入了解 | |
數據流 | SQL Server 現在支援作為資料流程中的來源和接收 | SQL Server 現在支援作為資料流程中的來源和接收。 請遵循連結的指示,以了解如何使用 Azure IR 受控虛擬網路功能來設定網路功能,以與您的 SQL Server 內部部署和雲端 VM 型執行個體進行通訊。 深入了解 |
資料流程叢集現在預設會針對所有新的 Azure PR 快速重複使用 | 熱門的資料流程快速啟動重複使用功能現已針對 Data Factory 正式推出。 根據預設,所有新的 Azure IR 現在都已啟用快速重複使用。 深入了解 | |
Power Query (公開預覽) 活動 | 您現在可以使用 Data Factory 資料整頓來建置 Power Query 接收的複雜欄位對應。 接收現在已在 Power Query (公開預覽) 活動的管道中設定,以配合此更新。 深入了解 | |
已更新 Data Factory 中的資料流程監視 UI | Data Factory 有監視 UI 的新更新,讓您更輕鬆地檢視資料流程 ETL 作業執行,並快速識別用於效能調整的區域。 深入了解 | |
SQL Server Integration Services | 在 Data Factory 中使用 SSIS 在三個步驟中的任意位置執行任何 SQL 陳述式或指令碼 | 此貼文提供三個步驟,讓您在 Data Factory 中使用 SSIS 在任何位置執行任何 SQL 陳述式或指令碼。
|