Dela via

Vad är Apache Airflow-jobb?

  • Artikel

Kommentar

Apache Airflow-jobbet drivs av Apache Airflow.

Apache Airflow-jobbet är nästa generation av Azure Data Factorys Workflow Orchestration Manager. Det är ett enkelt och effektivt sätt att skapa och hantera Apache Airflow-orkestreringsjobb så att du enkelt kan köra Riktade Acyclic Graphs (DAG:er) i stor skala. Det är en del av Fabrics datafabrik som ger dig en modern dataintegreringsupplevelse att mata in, förbereda och transformera data från en omfattande uppsättning datakällor, till exempel databaser, informationslager, Lakehouse, realtidsdata med mera.

När ska du använda Apache Airflow-jobb?

Apache Airflow-jobb erbjuder en hanterad tjänst som gör det möjligt för användare att skapa och hantera Python-baserade DAG:er (riktade Acyclic Graphs) för arbetsflödesorkestrering, utan att bekymra sig om den underliggande infrastrukturen. Om du har erfarenhet av Apache Airflow eller om du föredrar kodcentrerad metod är det här alternativet idealiskt. Om du däremot föredrar en lösning utan kod för dataorkestrering erbjuder datapipelines ett användarvänligt alternativ som inte kräver hantering eller skrivning av Python-baserade arbetsflöden.

Huvudfunktioner    

Microsoft Fabric-värdbaserade Apache Airflow-jobb erbjuder en rad kraftfulla funktioner, bland annat:

Huvudfunktioner     Apache Airflow-jobb i infrastrukturresurser Orchestration Manager för arbetsflöden i Azure Data Factory
Git-synkronisering Ja Ja
Aktivera AKV (Azure Key Vault) som serverdel Ja Ja
Installera privat paket som krav Ja Ja
Diagnostikloggar och mått Nej Ja
Blob Storage Nej Ja
Ip-adress för Apache Airflow-kluster Ja Ja
Autoskalning för att hantera toppar för körning av produktionsarbetsbelastningar Ja Delvis
Hög tillgänglighet för att minska avbrott/driftstopp Ja Nej
Uppskjutbara operatörer för att pausa inaktiva operatörer och frigöra arbetare Ja Nej
Pausa och återuppta TTL (time to live) Ja Nej
SaaSified Experience – 10 sekunder för att komma igång – Redigera DAG:er – Kostnadsfri utvärderingsversion av infrastrukturresurser Ja Nej

Regiontillgänglighet (offentlig förhandsversion)

  • Australien, östra
  • Australien, sydöstra
  • Brasilien, södra
  • Östra Kanada
  • Kanada, centrala
  • Asien, östra
  • East US
  • Tyskland, västra centrala
  • Japan, östra
  • Japan, västra
  • Europa, norra
  • Sydafrika, norra
  • USA, södra centrala
  • Indien, södra
  • Sydostasien
  • Sverige, centrala
  • Schweiz, västra
  • Storbritannien, södra
  • Storbritannien, västra
  • USA, västra centrala
  • Europa, västra
  • USA, västra

Apache Airflow-versioner som stöds

  • 2.6.3

Stöd för Python-version

  • 3.8.17

Kommentar

Det går inte att ändra Apache Airflow-versionen i en befintlig IR. I stället är den rekommenderade lösningen att skapa en ny Airflow IR med önskad version

Relaterat innehåll