Импорт групп доступности с помощью Хранилище BLOB-объектов Azure
Примечание.
Эта функция предоставляется в общедоступной предварительной версии. Диспетчер оркестрации рабочих процессов управляется Apache Airflow.
В этой статье показано, как импортировать ациклические графы (DAG) в диспетчер оркестрации рабочих процессов с помощью Хранилище BLOB-объектов Azure.
Необходимые компоненты
- Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись Azure перед началом работы.
- Фабрика данных Azure. Создание или выбор существующего экземпляра Фабрики данных в регионе, где поддерживается предварительная версия диспетчера оркестрации рабочих процессов.
- служба хранилища Azure учетная запись. Если у вас нет учетной записи хранения, ознакомьтесь с инструкциями по созданию учетной записи служба хранилища Azure. Убедитесь, что получить доступ к учетной записи хранения можно только из выбранных сетей.
Служба хранилища BLOB-объектов за виртуальными сетями не поддерживается во время предварительной версии. Конфигурация storageLinkedServices Azure Key Vault не поддерживается для импорта групп управления ключами доступности.
Импорт групп daGs
Скопируйте образец Apache Airflow версии 2.x DAG или пример Apache Airflow версии 1.10 DAG в зависимости от настроенной среды Airflow. Вставьте содержимое в новый файл с именем tutorial.py.
Отправьте файл tutorial.py в служба хранилища BLOB-объектов. Дополнительные сведения см. в разделе "Отправка файла в большой двоичный объект".
Примечание.
Необходимо выбрать путь к каталогу из учетной записи большого двоичного объекта служба хранилища, содержащей папки с именами dags и подключаемых модулей, чтобы импортировать их в среду Airflow. Подключаемые модули не являются обязательными. Вы также можете использовать контейнер с именем dags и отправить в него все файлы Airflow.
В разделе "Управление" выберите Apache Airflow. Затем наведите указатель мыши на ранее созданную среду Airflow и выберите импорт файлов для импорта всех зависимостей и зависимостей в среду Airflow.
Создайте связанную службу с доступной учетной записью хранения, упоминание в разделе "Предварительные требования". Вы также можете использовать существующий, если у вас уже есть собственные группы доступности.
Используйте учетную запись хранения, в которой вы отправили DAG. (Проверьте раздел "Предварительные требования". Проверьте подключение и нажмите кнопку "Создать".
Просмотрите и выберите поток воздуха, если вы используете пример URL-адреса SAS. Вы также можете выбрать папку, содержащую папку dags с файлами DAG.
Примечание.
Вы можете импортировать группы УПРАВЛЕНИЯ и их зависимости с помощью этого интерфейса. Необходимо выбрать путь к каталогу из учетной записи большого двоичного объекта служба хранилища, содержащей папки с именем dags и подключаемых модулей, чтобы импортировать их в среду Airflow. Подключаемые модули не являются обязательными.
Выберите "Импорт" для импорта файлов.
Импорт daGs может занять несколько минут во время предварительной версии. Центр уведомлений (значок колокольчика в пользовательском интерфейсе Фабрики данных) можно использовать для отслеживания обновлений состояния импорта.