什麼是 Apache Airflow 作業?
注意
Apache Airflow 作業是由 Apache Airflow 提供電源。
Apache Airflow 作業是新一代 Azure Data Factory 的工作流程協調流程管理員。 這是建立和管理 Apache Airflow 協調流程作業的簡單且有效率的方式,可讓您輕鬆大規模執行有向無循環圖表(DAG)。 它是 Fabric Data Factory 的一部分,可讓您使用現代化數據整合體驗,從豐富的數據源內嵌、準備和轉換數據,例如資料庫、數據倉儲、Lakehouse、實時數據等等。
何時使用 Apache Airflow 作業?
Apache Airflow 作業提供受控服務,可讓使用者建立及管理工作流程協調流程的 Python 型 DAG(導向非循環圖),而不必擔心基礎結構。 如果您有 Apache Airflow 的經驗,或偏好以程式代碼為中心的方法,此選項是理想的選項。 相反地,如果您偏好數據協調流程的無程式代碼解決方案,數據管線會提供使用者易記的替代方案,而不需要管理或撰寫以 Python 為基礎的工作流程。
主要功能
Microsoft裝載 Apache Airflow 作業的 Fabric 提供一系列功能強大的功能,包括:
主要功能 | Fabric 中的 Apache Airflow 作業 | Azure Data Factory 中的工作流程協調流程管理員 |
---|---|---|
Git 同步處理 | Yes | Yes |
啟用 AKV (Azure 金鑰保存庫) 作為後端 | Yes | Yes |
依據需求安裝私人套件 | Yes | Yes |
診斷記錄及計量 | No | Yes |
Blob 儲存體 | No | Yes |
Apache Airflow 叢集 IP 位址 | Yes | Yes |
用於管理生產工作負載執行尖峰的自動調整 | Yes | Partial |
高可用性以降低中斷/停機風險 | Yes | No |
可延遲的操作員,以將閒置操作員暫時停權並釋放背景工作角色 | Yes | No |
暫停與繼續 TTL (存留時間 ) | Yes | No |
SaaSified 體驗 – 10 秒便可開始使用 – 撰寫 DAG – Fabric 免費試用 | Yes | No |
區域可用性 (公開預覽)
- 澳大利亞東部
- 澳大利亞東南部
- 巴西南部
- 加拿大東部
- 加拿大中部
- 東亞
- 美國東部
- 德國中西部
- 日本東部
- 日本西部
- 北歐
- 南非北部
- 美國中南部
- 印度南部
- 東南亞
- 瑞典中部
- 瑞士西部
- 英國南部
- 英國西部
- 美國中西部
- 西歐
- 美國西部
支援的 Apache Airflow 版本
- 2.6.3
支援 Python 版本
- 3.8.17
注意
不支援變更現有 IR 內的 Apache Airflow 版本。 相反地,建議的解決方案是建立具有所需版本的新 Airflow IR
相關內容
- 快速入門: 建立 Apache Airflow 作業。