Partager via


Configurations d’Apache Airflow prises en charge

Remarque

Cette fonctionnalité est en version préliminaire publique. Le gestionnaire du flux de travail est basé sur Apache Airflow.

Dans le gestionnaire du flux de travail, les configurations Apache Airflow peuvent être intégrées au runtime de la plateforme en tant que paires clé-valeur. Bien que le fichier airflow.cfg ne soit pas directement accessible dans l’interface utilisateur, les utilisateurs peuvent remplacer ces configurations via la section « Remplacements de configuration Airflow » de l’interface utilisateur, tout en conservant l’accès aux autres paramètres airflow.cfg. Les développeurs ont la possibilité de remplacer la plupart des configurations Apache Airflow au sein du gestionnaire du flux de travail, except for those explicitly outlined in a provided table.

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Conseil

Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Pour plus d’informations sur les configurations Apache Airflow, consultez Informations de référence sur la configuration.

Le tableau suivant contient la liste des configurations qui ne prennent pas en charge les remplacements.

Configuration Description Valeur par défaut
AIRFLOW__CELERY__FLOWER_URL_PREFIX URL racine de Flower. ""
AIRFLOW__CORE__DAGS_FOLDER Chemin d’accès du dossier où les pipelines Airflow résident. AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE Indique s’il faut désactiver la sérialisation (pickling) des DAG. False
AIRFLOW__CORE__ENABLE_XCOM_PICKLING Indique s’il faut activer la sérialisation (pickling) pour xcom. False
AIRFLOW__CORE__EXECUTOR Classe d’exécuteur que doit utiliser Airflow. CeleryExecutor
AIRFLOW__CORE__FERNET_KEY Clé secrète pour enregistrer les mots de passe de connexion dans la base de données. AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION Les DAG sont-ils mis en pause par défaut lors de leur création ? False
AIRFLOW__CORE__PLUGINS_FOLDER Chemin d’accès du dossier contenant les plug-ins Airflow. AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER Dossier dans lequel Airflow doit stocker ses fichiers journaux. /opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE Mise en forme pour les noms de fichier ou les chemins d’accès que génère Airflow pour chaque exécution de tâche. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION Chemin d’accès complet du fichier journal dag_processor_manager. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS La classe de configuration de journalisation spécifie la configuration de journalisation. Cette classe doit se trouver sur le chemin d’accès de la classe Python. log_config.LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT Format de journal quand les journaux colorés sont activés. [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL Niveau de journalisation. INFO
AIRFLOW__METRICS__STATSD_ON Permet d’envoyer des métriques à StatsD. True
AIRFLOW__METRICS__STATSD_HOST Nom d’hôte du serveur StatsD. geneva-services
AIRFLOW__METRICS__STATSD_PORT Numéro de port du serveur StatsD. 8125
AIRFLOW__METRICS__STATSD_PREFIX Préfixe pour toutes les métriques Airflow envoyées à StatsD. AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY Chemin d’accès du répertoire où le planificateur Airflow écrit ses journaux de processus enfants. /opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL Fréquence (en secondes) d’analyse des nouveaux fichiers du répertoire des DAG. Par défaut : 5 minutes. 5
AIRFLOW__WEBSERVER__BASE_URL URL de base de votre site web, car Airflow ne peut pas deviner quel domaine ou cname vous utilisez. Cette URL est utilisée dans les e-mails automatisés envoyés par Airflow pour pointer des liens vers le serveur web approprié. https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE Permet de définir la stratégie samesite sur le cookie de session. Aucun
AIRFLOW__WEBSERVER__COOKIE_SECURE Permet de définir un indicateur sécurisé sur le cookie de session. True
AIRFLOW__WEBSERVER__EXPOSE_CONFIG Permet d’exposer le fichier de configuration dans le serveur web. False
AIRFLOW__WEBSERVER__AUTHENTICATE Permet d’authentifier l’utilisateur pour qu’il se connecte à l’interface utilisateur Airflow. True
AIRFLOW__WEBSERVER__AUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE Si la valeur est True, Airflow se charge du suivi des fichiers dans le répertoire plugins_folder. Quand il détecte des changements, il recharge le gunicorn. True
AIRFLOW__WEBSERVER__SECRET_KEY Clé secrète utilisée pour exécuter votre application flask. AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND Liste séparée par des virgules des back-ends d’authentification pour authentifier les utilisateurs de l’API. airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API True