Поделиться через

Что такое задание Apache Airflow?

  • Статья

Примечание.

Задание Apache Airflow работает под управлением Apache Airflow.

Задание Apache Airflow — это следующее поколение диспетчера оркестрации рабочих процессов Фабрика данных Azure. Это простой и эффективный способ создания заданий оркестрации Apache Airflow и управления ими, что позволяет легко запускать ациклические графы (DAG). Это часть фабрики данных Fabric, которая позволяет вам с помощью современной интеграции данных выполнять прием, подготовку и преобразование данных из богатого набора источников данных, например баз данных, хранилища данных, Lakehouse, данных в режиме реального времени и т. д.

Когда следует использовать задание Apache Airflow?

Задания Apache Airflow предлагают управляемую службу, которая позволяет пользователям создавать и управлять группами DAG на основе Python (направленными Ациклическими графами) для оркестрации рабочих процессов, не беспокоясь о базовой инфраструктуре. Если у вас есть опыт работы с Apache Airflow или вы предпочитаете подход, ориентированный на код, этот вариант идеально подходит. В отличие от этого, если вы предпочитаете решение без кода для оркестрации данных, конвейеры данных предлагают дружественную альтернативу, которая не требует управления рабочими процессами на основе Python или написания.

Основные возможности

Задание Apache Airflow, размещенное в Microsoft Fabric, предоставляет широкий спектр мощных функций, в том числе:

Основные возможности Задание Apache Airflow в Fabric Диспетчер оркестрации рабочих процессов в Фабрика данных Azure
Синхронизация Git Да Да
Включение AKV (Azure Key Vault) в качестве серверной части Да Да
Установка частного пакета в качестве требования Да Да
Журналы диагностики и метрики No Да
Хранилище BLOB-объектов No Да
IP-адрес кластера Apache Airflow Да Да
Автомасштабирование для управления пиками выполнения рабочей нагрузки Да Частично
Высокий уровень доступности для устранения сбоев и простоев Да No
Отложенные операторы для приостановки простоя операторов и освобождения рабочих ролей Да No
Приостановка и возобновление срока жизни (время жизни) Да No
Интерфейс SaaSified — 10 с, чтобы приступить к работе — создание daGs — бесплатная пробная версия Fabric Да No

Доступность региона (общедоступная предварительная версия)

  • Восточная Австралия
  • Юго-Восточная часть Австралии
  • Южная Бразилия
  • Восточная Канада
  • Центральная Канада
  • Восточная Азия
  • Восточная часть США
  • Центрально-Западная Германия
  • Восточная Япония
  • Западная Япония
  • Северная Европа
  • Северная часть ЮАР;
  • Центрально-южная часть США
  • Южная Индия
  • Юго-Восточная Азия
  • Центральная Швеция
  • Западная Швейцария
  • южная часть Соединенного Королевства
  • западная часть Соединенного Королевства
  • центрально-западная часть США
  • Западная Европа
  • западная часть США

Поддерживаемые версии Apache Airflow

  • 2.6.3

Поддержка версии Python

  • 3.8.17

Примечание.

Изменение версии Apache Airflow в существующей среде ir не поддерживается. Вместо этого рекомендуется создать новую среду ir Airflow с требуемой версией.

См. также