Краткое руководство. Создание задания Apache Airflow

Статья
10/25/2024

Примечание.

Задание Apache Airflow работает под управлением Apache Airflow.
Apache Airflow — это платформа с открытым исходным кодом, используемая для программного создания, планирования и мониторинга сложных заданий. Он позволяет определить набор задач, которые называются операторами, которые можно объединить в ациклические графы (DAG) для представления конвейеров данных.

Задание Apache Airflow предоставляет простой и эффективный способ создания сред Apache Airflow и управления ими, что упрощает выполнение заданий оркестрации. В этом кратком руководстве мы создадим простое задание Apache Airflow, чтобы ознакомиться с средой и функциями задания Apache Airflow.

Необходимые компоненты

Включите задание Apache Airflow в клиенте.

Примечание.

Так как задание Apache Airflow находится в состоянии предварительной версии, его необходимо включить с помощью администратора клиента. Если вы уже видите задание Apache Airflow, возможно, он уже включен администратором клиента.

Перейдите на портал администрирования —> параметры клиента в> разделе Microsoft Fabric —> разверните раздел "Пользователи могут создавать и использовать задание Apache Airflow (предварительная версия)".
Выберите Применить.

Создание задания Apache Airflow

Можно использовать существующую рабочую область или создать новую рабочую область.
Разверните + New раскрывающийся список .> Щелкните "Дополнительные параметры"> Data Factory в разделе "> Выбор задания Apache Airflow" (предварительная версия)
Присвойте проекту подходящее имя и нажмите кнопку "Создать".

Создание ФАЙЛА DAG

Щелкните карточку "Создать файл DAG" —> присвойте файлу имя и нажмите кнопку "Создать".
Вам представлен стандартный код DAG. Файл можно изменить в соответствии с вашими требованиями.
Щелкните значок "Сохранить".

Запуск DAG

Начните с нажатия кнопки "Запустить DAG".
После инициирования уведомление будет быстро отображаться, указывающее, что служба DAG запущена.
Чтобы отслеживать ход выполнения DAG, просто щелкните "Просмотреть сведения" в центре уведомлений. Это действие перенаправит вас в пользовательский интерфейс Apache Airflow, где можно удобно отслеживать состояние и сведения о запуске DAG.