Importer des DAG avec Stockage Blob Azure
Remarque
Cette fonctionnalité est en version préliminaire publique. Le gestionnaire du flux de travail est propulsé par Apache Airflow.
Cet article vous montre comment importer des graphiques acycliques (DAG) dirigés dans le gestionnaire du flux de travail avec le Stockage Blob Azure.
Prérequis
- Abonnement Azure : Si vous n’avez pas d’abonnement Azure, créez un compte Azure gratuit avant de commencer.
- Azure Data Factory: créez ou sélectionnez une instance Data Factory existante dans une région où la préversion du gestionnaire du flux de travail est prise en charge.
- Compte de stockage Azure : si vous n’avez pas de compte de stockage, consultez Créer un compte de stockage Azure qui détaille les étapes pour en créer un. Vérifiez que le compte de stockage autorise l’accès provenant des réseaux sélectionnés uniquement.
Le stockage Blob derrière les réseaux virtuels n’est pas pris en charge pendant la préversion. La configuration d’Azure Key Vault dans storageLinkedServices n’est pas prise en charge pour importer des DAG.
Importer des DAG
Copiez l’exemple de DAG d’Apache Airflow v2.x ou l’exemple de DAG d’Apache Airflow v1.10 basé sur l’environnement Airflow que vous avez configuré. Collez le contenu dans un nouveau fichier appelé tutorial.py.
Chargez le fichier tutorial.py dans le Stockage Blob. Pour plus d’informations, consultez Charger un fichier dans un blob.
Remarque
Vous devez sélectionner un chemin de répertoire à partir d’un compte de Stockage Blob qui contient des dossiers nommés DAG et plugins pour les importer dans l’environnement Airflow. Les plugins ne sont pas obligatoires. Vous pouvez aussi avoir un conteneur nommé dags et y charger tous les fichiers Airflow.
Sous le hub Gérer, sélectionnez Apache Airflow. Pointez ensuite sur l’environnement Airflow précédemment créé, puis sélectionnez Importer des fichiers pour importer tous les DAG et les dépendances dans l’environnement Airflow.
Créez un service lié au compte de stockage accessible mentionné dans la section « Prérequis ». Vous pouvez également utiliser un objet existant si vous disposez déjà de vos propres DAG.
Utilisez le compte de stockage où vous avez chargé le DAG. (Vérifiez la section « Prérequis »). Testez la connexion, puis sélectionnez Créer.
Parcourez et sélectionnez airflow si vous utilisez l’exemple d’URL SAP. Vous pouvez également sélectionner le dossier qui contient le dossier DAG avec des fichiers DAG.
Remarque
Vous pouvez importer des DAG et leurs dépendances via cette interface. Vous devez sélectionner un chemin de répertoire à partir d’un compte de Stockage Blob qui contient des dossiers nommés DAG et plugins pour les importer dans l’environnement Airflow. Les plugins ne sont pas obligatoires.
Sélectionnez Importer pour importer des fichiers.
L’importation de DAG peut prendre quelques minutes avec la préversion. Vous pouvez utiliser le centre de notification (icône de cloche dans l’interface utilisateur de Data Factory) pour suivre les mises à jour d’état d’importation.