Partilhar via

O que é o Apache Airflow Job?

  • Artigo

Nota

O trabalho do Apache Airflow é alimentado pelo Apache Airflow.

O trabalho Apache Airflow é a próxima geração do Workflow Orchestration Manager do Azure Data Factory. É uma maneira simples e eficiente de criar e gerenciar trabalhos de orquestração do Apache Airflow , permitindo que você execute Gráficos Acíclicos Direcionados (DAGs) em escala com facilidade. É a parte do Data Factory da Fabric que capacita você com uma experiência moderna de integração de dados para ingerir, preparar e transformar dados de um rico conjunto de fontes de dados, por exemplo, bancos de dados, data warehouse, Lakehouse, dados em tempo real e muito mais.

Quando usar o trabalho Apache Airflow?

Os trabalhos do Apache Airflow oferecem um serviço gerenciado que permite aos usuários criar e gerenciar DAGs (Directed Acyclic Graphs) baseados em Python para orquestração do fluxo de trabalho, sem se preocupar com a infraestrutura subjacente. Se você tem experiência com o Apache Airflow ou prefere uma abordagem centrada em código, essa opção é ideal. Por outro lado, se você preferir uma solução sem código para orquestração de dados, os pipelines de dados oferecem uma alternativa amigável que não requer gerenciamento ou gravação de fluxos de trabalho baseados em Python.

Principais Funcionalidades    

O trabalho Apache Airflow hospedado no Microsoft Fabric oferece uma variedade de recursos poderosos, incluindo:

Principais Funcionalidades     Trabalho de fluxo de ar Apache na malha Gerenciador de Orquestração de Fluxo de Trabalho no Azure Data Factory
Sincronização do Git Sim Sim
Habilitar AKV (Azure Key Vault) como back-end Sim Sim
Instalar pacote privado como requisito Sim Sim
Logs e métricas de diagnóstico Não Sim
Armazenamento de Blobs Não Sim
Endereço IP do cluster Apache Airflow Sim Sim
Dimensionamento automático para gerenciar picos de execução da carga de trabalho de produção Sim Parcial
Alta disponibilidade para reduzir o tempo de inatividade/interrupção Sim Não
Operadores dedutíveis para suspender operadores ociosos e liberar trabalhadores Sim Não
Pausar e Retomar TTL (Tempo de viver) Sim Não
Experiência SaaSified - 10 segundos para começar - Criação de DAGs - Avaliação gratuita do Fabric Sim Não

Disponibilidade da região (visualização pública)

  • Leste da Austrália
  • Austrália Sudeste
  • Sul do Brasil
  • Leste do Canadá
  • Canadá Central
  • Ásia Leste
  • E.U.A. Leste
  • Alemanha Centro-Oeste
  • Leste do Japão
  • Oeste do Japão
  • Europa do Norte
  • Norte da África do Sul
  • E.U.A. Centro-Sul
  • Sul da Índia
  • Sudeste Asiático
  • Suécia Central
  • Oeste da Suíça
  • Sul do Reino Unido
  • Oeste do Reino Unido
  • E.U.A. Centro-Oeste
  • Europa Ocidental
  • E.U.A. Oeste

Versões suportadas do Apache Airflow

  • 2.6.3

Suporte a versão Python

  • 3.8.17

Nota

Não há suporte para alterar a versão do Apache Airflow dentro de um IR existente. Em vez disso, a solução recomendada é criar um novo Airflow IR com a versão desejada

Conteúdo relacionado