Compartir a través de

¿Qué es un trabajo de Apache Airflow?

  • Artículo

Nota:

El trabajo de Apache Airflow funciona con Apache Airflow.

Los trabajos de Apache Airflow son la próxima generación del administrador de orquestaciones de flujos de trabajo de Azure Data Factory. Son una manera sencilla y eficaz de crear y administrar trabajos de orquestación de Apache Airflow, lo que le permite ejecutar gráficos acíclicos dirigidos (DAG) a escala con facilidad. Es la parte de Data Factory de Fabric que le permite obtener una experiencia de integración de datos moderna para ingerir, preparar y transformar datos de un amplio conjunto de orígenes de datos; por ejemplo, bases de datos, almacenamiento de datos, almacén de lago de datos, datos en tiempo real y más.

¿Cuándo usar el trabajo de Apache Airflow?

Los trabajos de Apache Airflow ofrecen un servicio administrado que permite a los usuarios crear y administrar DAG (gráficos acíclicos dirigidos) basados en Python para la orquestación de flujos de trabajo, sin tener que preocuparse por la infraestructura subyacente. Si tiene experiencia con Apache Airflow o prefiere el enfoque centrado en código, esta opción es ideal. Por el contrario, si prefiere una solución sin código para la orquestación de datos, las canalizaciones ofrecen una alternativa fácil de usar, que no requiere administrar ni escribir flujos de trabajo basados en Python.

Principales características

El trabajo de Apache Airflow hospedado en Microsoft Fabric ofrece una variedad de características eficaces, entre las que se incluyen:

Principales características El trabajo de Apache Airflow en Fabric El administrador de orquestación de flujo de trabajo en Azure Data Factory
Sincronización de Git Sí Sí
La habilitación de AKV (Azure Key Vault) como back-end Sí Sí
Instalación del paquete privado como requisito Sí Sí
Registros y métricas de diagnóstico No Sí
Blob Storage No Sí
Dirección IP del clúster de Apache Airflow Sí Sí
Escalabilidad automática para administrar picos de ejecución de cargas de trabajo de producción Sí Parcial
Alta disponibilidad para mitigar la interrupción o el tiempo de inactividad Sí No
Operadores aplazables para suspender operadores inactivos y liberar trabajos Sí No
Pausa y reanudación de TTL (período de vida) Sí No
Experiencia saaSified - 10 segundos para empezar - creación de DAG - evaluación gratuita de Fabric Sí No

Disponibilidad de regiones (versión preliminar pública)

  • Este de Australia
  • Sudeste de Australia
  • Sur de Brasil
  • Este de Canadá
  • Centro de Canadá
  • Este de Asia
  • Este de EE. UU.
  • Centro-oeste de Alemania
  • Japón Oriental
  • Japón Occidental
  • Norte de Europa
  • Norte de Sudáfrica
  • Centro-sur de EE. UU.
  • Sur de la India
  • Sudeste de Asia
  • Centro de Suecia
  • Oeste de Suiza
  • Sur de Reino Unido 2
  • Oeste de Reino Unido
  • Centro-Oeste de EE. UU.
  • Oeste de Europa
  • Oeste de EE. UU.

Versiones compatibles de Apache Airflow

  • 2.6.3

Soporte para la versión de Python

  • 3.8.17

Nota:

No se admite el cambio de la versión de Apache Airflow dentro de un entorno de ejecución de integración existente. En su lugar, la solución recomendada es crear una nueva instancia de IR de Airflow con la versión deseada

Contenido relacionado