Was ist ein Apache Airflow-Auftrag?
Hinweis
Ein Apache Airflow-Auftrag wird von Apache Airflow unterstützt.
Apache Airflow-Aufträge sind die nächste Generation des Workflow Orchestration Managers von Azure Data Factory. Sie bieten einen einfachen und effizienten Weg, um Apache Airflow-Orchestrierungsaufträge zu erstellen und zu verwalten, sodass Sie gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs) in großem Stil problemlos ausführen können. Sie sind Teil der Data Factory von Fabric, mit der Sie dank einer modernen Datenintegrationsumgebung Daten aus einer Vielzahl von Datenquellen erfassen, vorbereiten und transformieren können, wie z. B. Datenbanken, Data Warehouses, Lakehouses, Echtzeitdaten usw.
Wann können Sie Apache Airflow-Aufträge verwenden?
Apache Airflow-Aufträge bieten einen verwalteten Dienst, mit dem Benutzer Python-basierte DAGs (Directed Acyclic Graphs) für die Workflow-Orchestrierung erstellen und verwalten können, ohne sich Gedanken über die zugrundeliegende Infrastruktur machen zu müssen. Wenn Sie Erfahrung mit Apache Airflow haben oder einen codeorientierten Ansatz bevorzugen, ist diese Option ideal. Wenn Sie dagegen eine No-Code-Lösung für die Datenorchestrierung bevorzugen, bieten Datenpipelines eine benutzerfreundliche Alternative, die keine Verwaltung oder das Schreiben von Python-basierten Workflows erfordert.
Wichtige Funktionen
Von Microsoft Fabric gehostete Apache Airflow-Aufträge bieten eine Reihe leistungsstarker Funktionen, darunter:
Wichtige Funktionen | Apache Airflow-Auftrag in Fabric | Workflow Orchestration Manager in Azure Data Factory |
---|---|---|
Git-Synchronisierung | Ja | Ja |
Aktivieren von AKV (Azure Key Vault) als Back-End | Ja | Ja |
Installieren eines privaten Pakets als Anforderung | Ja | Ja |
Diagnoseprotokolle und Metriken | No | Ja |
Blob Storage | No | Ja |
Apache Airflow-Cluster-IP-Adresse | Ja | Ja |
Autoskalierung zur Bewältigung von Ausführungsspitzen bei Produktionsworkloads | Ja | Teilweise |
Hohe Verfügbarkeit für eine Minderung des Ausfalls/Downtime | Ja | No |
Zurückstellbare Operatoren, um im Leerlauf befindliche Operatoren zu suspendieren und Worker freizusetzen | Ja | No |
Anhalten und Fortsetzen von TTL (Gültigkeitsdauer) | Ja | No |
SaaSified Experience – 10 Sekunden für die ersten Schritte – Erstellen von DAGs – Kostenlose Testversion von Fabric | Ja | No |
Verfügbarkeit der Region (öffentliche Vorschau)
- Australien (Osten)
- Australien, Südosten
- Brasilien, Süden
- Kanada, Osten
- Kanada, Mitte
- Asien, Osten
- East US
- Deutschland, Westen-Mitte
- Japan, Osten
- Japan, Westen
- Nordeuropa
- Südafrika, Norden
- USA Süd Mitte
- Indien (Süden)
- Asien, Südosten
- Schweden, Mitte
- Schweiz, Westen
- UK, Süden
- UK, Westen
- USA, Westen-Mitte
- Europa, Westen
- USA (Westen)
Unterstützte Apache Airflow-Versionen
- 2.6.3
Unterstützung der Python-Version
- 3.8.17
Hinweis
Das Ändern der Apache Airflow-Version in einer vorhandenen IR wird nicht unterstützt. Stattdessen wird empfohlen, eine neue Airflow-IR mit der gewünschten Version zu erstellen
Verwandte Inhalte
- Schnellstart: Erstellen eines Apache Airflow-Auftrags.