Del via

Hvad er Apache Airflow Job?

  • Artikel

Bemærk

Apache Airflow-jobbet drives af Apache Airflow.

Apache Airflow-job er den næste generation af Azure Data Factorys Workflow Orchestration Manager. Det er en enkel og effektiv måde at oprette og administrere Apache Airflow-orkestreringsjob på, så du nemt kan køre DAG'er (Directed Acyclic Graphs) i stor skala. Det er den del af Fabric's Data Factory, der giver dig en moderne dataintegrationsoplevelse til at indtage, forberede og transformere data fra et omfattende sæt datakilder, f.eks. databaser, data warehouse, Lakehouse, data i realtid og meget mere.

Hvornår skal du bruge Apache Airflow-job?

Apache Airflow-job tilbyder en administreret tjeneste, der giver brugerne mulighed for at oprette og administrere Python-baserede DAG'er (Directed Acyclic Graphs) til orkestrering af arbejdsprocesser uden at bekymre sig om den underliggende infrastruktur. Hvis du har erfaring med Apache Airflow, eller du foretrækker kodecentreret tilgang, er denne indstilling ideel. Hvis du derimod foretrækker en løsning uden kode til dataorkestrering, tilbyder datapipelines et brugervenligt alternativ, der ikke kræver administration eller skrivning af Python-baserede arbejdsprocesser.

Nøglefunktioner    

Microsoft Fabric hostede Apache Airflow-job tilbyder en række effektive funktioner, herunder:

Nøglefunktioner     Apache Airflow Job i Fabric Workflow Orchestration Manager i Azure Data Factory
Git-synkronisering Ja Ja
Aktivér AKV (Azure Key Vault) som backend Ja Ja
Installér privat pakke som krav Ja Ja
Diagnosticeringslogge og målepunkter Nej Ja
Blob Storage Nej Ja
IP-adresse for Apache Airflow-klynge Ja Ja
Automatisk skalering til administration af stigninger i udførelse af produktionsarbejdsbelastninger Ja Delvis
Høj tilgængelighed til at afhjælpe afbrydelse/nedetid Ja Nej
Udskydelige operatorer til suspendering af inaktive operatorer og frigørelse af arbejdere Ja Nej
Afbryd midlertidigt og genoptag TTL (tid til live) Ja Nej
SaaSified Experience – 10 sek. for at komme i gang – Oprettelse af DAGs – Stoffri prøveversion Ja Nej

Områdetilgængelighed (offentlig prøveversion)

  • Det østlige Australien
  • Det sydøstlige Australien
  • Det Sydlige Brasilien
  • Det østlige Canada
  • Det centrale Canada
  • Østasien
  • Østlige USA
  • Det vestlige centrale Tyskland
  • Det østlige Japan
  • Det vestlige Japan
  • Det nordlige Europa
  • Det nordlige Sydafrika
  • Det sydcentrale USA
  • Det sydlige Indien
  • Det sydøstlige Asien
  • Det centrale Sverige
  • Det vestlige Schweiz
  • Det sydlige Storbritannien
  • Det vestlige Storbritannien
  • Det vestlige centrale USA
  • Det vestlige Europa
  • Det vestlige USA

Understøttede Apache Airflow-versioner

  • 2.6.3

Understøttelse af Python-version

  • 3.8.17

Bemærk

Ændring af Apache Airflow-versionen i en eksisterende IR understøttes ikke. Den anbefalede løsning er i stedet at oprette en ny airflow-IR med den ønskede version

Relateret indhold