Поделиться через

Создание среды Airflow в диспетчере оркестрации рабочих процессов

  • Статья

Примечание.

Диспетчер оркестрации рабочих процессов управляется Apache Airflow.

В этой статье описывается настройка и настройка среды Airflow в диспетчере оркестрации рабочих процессов.

Необходимые компоненты

  • Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
  • Фабрика данных Azure. Создайте или выберите существующий экземпляр фабрики данных в регионе, где поддерживается предварительная версия диспетчера оркестрации рабочих процессов.

Создание среды

Чтобы создать новую среду диспетчера оркестрации рабочих процессов, выполните приведенные действия.

  1. Перейдите в центр управления и выберите Airflow (предварительная версия)>+ Создать, чтобы открыть страницу настройки среды Airflow.

    Снимок экрана: создание новой среды Диспетчера оркестрации рабочих процессов.

  2. Введите сведения и выберите параметры конфигурации Airflow.

    Снимок экрана: сведения о среде Airflow.

    Внимание

    При использовании базовой проверки подлинности запомните имя пользователя и пароль, указанные на этой странице. Вам потребуется выполнить вход позже в пользовательском интерфейсе Airflow. По умолчанию используется Azure AD. Для среды Airflow не требуется создать имя пользователя и пароль. Вместо этого он использует учетные данные пользователя, вошедшего в систему, для Фабрика данных Azure для входа и отслеживания ациклических графов (DAG).

    Дополнительные параметры на странице настройки среды Airflow:

    • Включение синхронизации Git. Вы можете разрешить среде Airflow автоматически синхронизироваться с репозиторием Git, а не импортировать группы управления доступом вручную. Дополнительные сведения см. в разделе "Синхронизация репозитория GitHub" в Диспетчере оркестрации рабочих процессов.
    • Переопределения конфигурации airflow можно переопределить все конфигурации Airflow, заданные в airflow.cfg. Примеры: name: AIRFLOW__VAR__FOO и value: BAR. Дополнительные сведения см. в разделе "Конфигурации Airflow".
    • Переменные среды. Это хранилище значений ключа можно использовать в Airflow для хранения и получения произвольного содержимого или параметров.
    • Требования. Этот параметр можно использовать для предварительной установки библиотек Python. Эти требования можно обновить позже.
    • Секреты Kubernetes: вы можете создать пользовательский секрет Kubernetes для среды Airflow. Примером являются учетные данные частного реестра для извлечения образов для KubernetesPodOperator.

  3. После заполнения всех сведений в соответствии с требованиями нажмите кнопку "Создать".