Partager via

Présentation d’Apache Airflow Job

  • Article

Remarque

Apache Airflow Job est alimenté par Apache Airflow.

Apache Airflow Job est la nouvelle génération du gestionnaire du flux de travail d’Azure Data Factory. C’est un moyen simple et efficace de créer et de gérer des travaux d’orchestration d’Apache Airflow, qui vous permet d’exécuter facilement des DAG (Directed Acyclic Graph) à grande échelle. C’est le composant Data Factory de Fabric qui vous permet de bénéficier d’une expérience d’intégration des données moderne pour ingérer, préparer et transformer des données provenant d’une grande variété de sources de données, par exemple des bases de données, un entrepôt de données, un lakehouse, des données en temps réel, etc.

Quand utiliser Apache Airflow Job ?

Apache Airflow Job offre un service managé qui permet aux utilisateurs de créer et de gérer des DAG Python pour l’orchestration de flux de travail, sans vous soucier de l’infrastructure sous-jacente. Si vous avez de l’expérience avec Apache Airflow ou si vous préférez une approche centrée sur le code, cette option est idéale. En revanche, si vous préférez une solution sans code pour l’orchestration des données, les pipelines de données offrent une alternative conviviale qui ne nécessite pas de gérer ou d’écrire des flux de travail Python.

Principales fonctionnalités

Apache Airflow Job hébergé par Microsoft Fabric offre une gamme de fonctionnalités puissantes, notamment :

Principales fonctionnalités Apache Airflow Job dans Fabric Gestionnaire du flux de travail dans Azure Data Factory
Synchronisation Git Oui Oui
Activation d’AKV (Azure Key Vault) comme back-end Oui Oui
Installer un package privé en tant qu’exigence Oui Oui
Journaux de diagnostic et métriques Non Oui
Stockage Blob Non Oui
Adresse IP du groupement Apache Airflow Oui Oui
Mise à l’échelle automatique pour la gestion des pics d’exécution de charges de travail de production Oui Partiel
Haute disponibilité pour atténuer les pannes/temps d’arrêt Oui Non
Opérateurs différés pour suspendre les opérateurs inactifs et libérer des travailleurs Oui Non
Mise en pause et reprise de la durée de vie (TTL) Oui Non
Expérience SaaSified – 10 secondes pour commencer – Création de DAG – Essai gratuit de Fabric Oui Non

Disponibilité régionale (préversion publique)

  • Australie Est
  • Sud-Australie Est
  • Brésil Sud
  • Est du Canada
  • Centre du Canada
  • Asie Est
  • USA Est
  • Allemagne Centre-Ouest
  • Japon Est
  • OuJapon Est
  • Europe Nord
  • Afrique du Sud Nord
  • États-Unis - partie centrale méridionale
  • Inde Sud
  • Asie Sud-Est
  • Suède Centre
  • Suisse Ouest
  • Sud du Royaume-Uni
  • Ouest du Royaume-Uni
  • Centre-USA Ouest
  • Europe Ouest
  • USA Ouest

Versions d’Apache Airflow prises en charge

  • 2.6.3

Prise en charge de la version de Python

  • 3.8.17

Remarque

La modification de la version d’Apache Airflow dans un IR existant n’est pas prise en charge. Au lieu de cela, la solution recommandée consiste à créer un runtime d’intégration Airflow avec la version souhaitée

Contenu associé