共用方式為


什麼是 Apache Airflow 作業?

注意

Apache Airflow 作業是由 Apache Airflow 提供電源。

Apache Airflow 作業是新一代 Azure Data Factory 的工作流程協調流程管理員。 這是建立和管理 Apache Airflow 協調流程作業的簡單且有效率的方式,可讓您輕鬆大規模執行有向無循環圖表(DAG)。 它是 Fabric Data Factory 的一部分,可讓您使用現代化數據整合體驗,從豐富的數據源內嵌、準備和轉換數據,例如資料庫、數據倉儲、Lakehouse、實時數據等等。

何時使用 Apache Airflow 作業?

Apache Airflow 作業提供受控服務,可讓使用者建立及管理工作流程協調流程的 Python 型 DAG(導向非循環圖),而不必擔心基礎結構。 如果您有 Apache Airflow 的經驗,或偏好以程式代碼為中心的方法,此選項是理想的選項。 相反地,如果您偏好數據協調流程的無程式代碼解決方案,數據管線會提供使用者易記的替代方案,而不需要管理或撰寫以 Python 為基礎的工作流程。

主要功能

Microsoft裝載 Apache Airflow 作業的 Fabric 提供一系列功能強大的功能,包括:

主要功能 Fabric 中的 Apache Airflow 作業 Azure Data Factory 中的工作流程協調流程管理員
Git 同步處理 Yes Yes
啟用 AKV (Azure 金鑰保存庫) 作為後端 Yes Yes
依據需求安裝私人套件 Yes Yes
診斷記錄及計量 No Yes
Blob 儲存體 No Yes
Apache Airflow 叢集 IP 位址 Yes Yes
用於管理生產工作負載執行尖峰的自動調整 Yes Partial
高可用性以降低中斷/停機風險 Yes No
可延遲的操作員,以將閒置操作員暫時停權並釋放背景工作角色 Yes No
暫停與繼續 TTL (存留時間 ) Yes No
SaaSified 體驗 – 10 秒便可開始使用 – 撰寫 DAG – Fabric 免費試用 Yes No

區域可用性 (公開預覽)

  • 澳大利亞東部
  • 澳大利亞東南部
  • 巴西南部
  • 加拿大東部
  • 加拿大中部
  • 東亞
  • 美國東部
  • 德國中西部
  • 日本東部
  • 日本西部
  • 北歐
  • 南非北部
  • 美國中南部
  • 印度南部
  • 東南亞
  • 瑞典中部
  • 瑞士西部
  • 英國南部
  • 英國西部
  • 美國中西部
  • 西歐
  • 美國西部

支援的 Apache Airflow 版本

  • 2.6.3

支援 Python 版本

  • 3.8.17

注意

不支援變更現有 IR 內的 Apache Airflow 版本。 相反地,建議的解決方案是建立具有所需版本的新 Airflow IR