Importe DAGs usando o Armazenamento de Blobs do Azure
Observação
Esse recurso está em uma versão prévia. O gerenciador de orquestração de fluxo de trabalho é desenvolvido com Apache Airflow.
Esse artigo mostra instruções passo a passo sobre como importar gráficos acíclicos direcionados (DAGs) para o gerenciador de orquestração de fluxo de trabalho usando o Armazenamento de Blobs do Azure.
Pré-requisitos
- Assinatura do Azure: Caso você não tenha uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.
- Azure Data Factory: Crie ou selecione uma instância existente do Data Factory em uma região onde a versão prévia do gerenciador de orquestração de fluxo de trabalho é suportada.
- Conta de Armazenamento do Microsoft Azure: se você não tiver uma conta de armazenamento, veja Criar uma conta de Armazenamento do Azure para obter etapas para criar uma. Verifique se a conta de armazenamento permite acesso somente de redes selecionadas.
O Blob Storage por trás de redes virtuais não tem suporte durante a versão prévia. A configuração do Azure Key Vault em storageLinkedServices não tem suporte para importar DAGs.
Importar DAGs
Copie Exemplo de DAG do Apache Airflow v2.x ou Exemplo de DAG do Apache Airflow v1.10 com base no ambiente do Airflow que você configurou. Cole o conteúdo em um novo arquivo chamado tutorial.py.
Carregue o arquivo tutorial.py no Armazenamento de Blobs. Para obter mais informações, veja Carregar um arquivo em um blob.
Observação
Você precisa selecionar um caminho de diretório de uma conta do Blob Storage que contém pastas chamadas dags e plugins para importá-los para o ambiente Airflow. Plugins não são obrigatórios. Você também pode ter um contêiner chamado dags e carregar todos os arquivos do Airflow nele.
No hub Gerenciar, selecione Apache Airflow. Em seguida, passe o mouse sobre o ambiente Airflow criado anteriormente e selecione Importar arquivos para importar todos os DAGs e dependências para o ambiente Airflow.
Crie um novo serviço vinculado à conta de armazenamento acessível mencionada na seção "Pré-requisitos". Você também pode usar um existente se já tiver seus próprios DAGs.
Use a conta de armazenamento onde você carregou o DAG. (Verifique a seção "Pré-requisitos".) Teste a conexão e selecione Criar.
Navegue e selecione airflow se estiver usando o URL SAS de amostra. Você também pode selecionar a pasta que contém a pasta dags com arquivos DAG.
Observação
Você pode importar os DAGs e as respectivas dependências por meio dessa interface. Você precisa selecionar um caminho de diretório de uma conta do Blob Storage que contém pastas chamadas dags e plugins para importá-las para o ambiente Airflow. Plugins não são obrigatórios.
Selecione Importar para importar arquivos.
A importação de DAGs pode levar alguns minutos durante a visualização. Você pode usar o centro de notificação (ícone de sino na UI do Data Factory) para rastrear atualizações de status de importação.