Del via

Hva er Apache Airflow Job?

  • Artikkel

Merk

Apache Airflow-jobben drives av Apache Airflow.

Apache Airflow-jobben er neste generasjon av Azure Data Factorys Workflow Orchestration Manager. Det er en enkel og effektiv måte å opprette og administrere Apache Airflow-orkestreringsjobber på, slik at du enkelt kan kjøre Directed Acyclic Graphs (DAGs) i stor skala. Det er den delen av Fabric's Data Factory som gir deg en moderne dataintegreringsopplevelse til å innta, klargjøre og transformere data fra et rikt sett med datakilder, for eksempel databaser, datalager, Lakehouse, sanntidsdata og mer.

Når skal du bruke Apache Airflow-jobb?

Apache Airflow-jobber tilbyr en administrert tjeneste som gjør det mulig for brukere å opprette og administrere Python-baserte DAGs (Directed Acyclic Graphs) for arbeidsflytorkestrering, uten å bekymre seg for den underliggende infrastrukturen. Hvis du har erfaring med Apache Airflow eller du foretrekker kodesentrisk tilnærming, er dette alternativet ideelt. Hvis du derimot foretrekker en løsning uten kode for dataorkestrering, tilbyr datasamlebånd et brukervennlig alternativ som ikke krever administrasjon eller skriving av Python-baserte arbeidsflyter.

Nøkkelfunksjoner    

Microsoft Fabric vert Apache Airflow jobb tilbyr en rekke kraftige funksjoner, inkludert:

Nøkkelfunksjoner     Apache Airflow-jobb i stoff Workflow Orchestration Manager i Azure Data Factory
Git-synkronisering Ja Ja
Aktiver AKV (Azure Key Vault) som serverdel Ja Ja
Installer privat pakke som krav Ja Ja
Diagnoselogger og måledata Nei Ja
Blob Storage Nei Ja
IP-adresse for Apache Airflow-klynge Ja Ja
Autoskala for administrasjon av produksjonsarbeidsmengdekjøringstopper Ja Delvis
Høy tilgjengelighet for å redusere driftsstans/nedetid Ja Nei
Utsettbare operatorer for å suspendere inaktive operatører og frigjøre arbeidere Ja Nei
Stans TTL midlertidig og FORTSETT (tid for direktesending) Ja Nei
SaaSified Experience - 10 sek for å komme i gang - Authoring DAGs - Fabric Free Trial Ja Nei

Områdetilgjengelighet (offentlig forhåndsvisning)

  • Australia, øst
  • Australia, sørøst
  • Brasil, sør
  • Canada, øst
  • Canada, sentralt
  • Asia øst
  • USA, øst
  • Tyskland, vest-sentralt
  • Japan, øst
  • Japan, vest
  • Europa, nord
  • Sør-Afrika, nord
  • USA, sør-sentralt
  • India, sør
  • Asia, sørøst
  • Sverige, sentralt
  • Sveits, vest
  • Storbritannia, sør
  • Storbritannia, vest
  • USA, vest-sentralt
  • Europa, vest
  • USA vest

Støttede Apache Airflow-versjoner

  • 2.6.3

Støtte Python-versjon

  • 3.8.17

Merk

Endring av Apache Airflow-versjonen i en eksisterende IR støttes ikke. I stedet er den anbefalte løsningen å opprette en ny Airflow IR med ønsket versjon

Relatert innhold