Configurations d’Apache Airflow prises en charge
Remarque
Cette fonctionnalité est en version préliminaire publique. Le gestionnaire du flux de travail est basé sur Apache Airflow.
Dans le gestionnaire du flux de travail, les configurations Apache Airflow peuvent être intégrées au runtime de la plateforme en tant que paires clé-valeur. Bien que le fichier airflow.cfg
ne soit pas directement accessible dans l’interface utilisateur, les utilisateurs peuvent remplacer ces configurations via la section « Remplacements de configuration Airflow » de l’interface utilisateur, tout en conservant l’accès aux autres paramètres airflow.cfg
. Les développeurs ont la possibilité de remplacer la plupart des configurations Apache Airflow au sein du gestionnaire du flux de travail, except for those explicitly outlined in a provided table
.
S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Pour plus d’informations sur les configurations Apache Airflow, consultez Informations de référence sur la configuration.
Le tableau suivant contient la liste des configurations qui ne prennent pas en charge les remplacements.
Configuration | Description | Valeur par défaut |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | URL racine de Flower. | "" |
AIRFLOW__CORE__DAGS_FOLDER | Chemin d’accès du dossier où les pipelines Airflow résident. | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | Indique s’il faut désactiver la sérialisation (pickling) des DAG. | False |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | Indique s’il faut activer la sérialisation (pickling) pour xcom. | False |
AIRFLOW__CORE__EXECUTOR | Classe d’exécuteur que doit utiliser Airflow. | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | Clé secrète pour enregistrer les mots de passe de connexion dans la base de données. | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | Les DAG sont-ils mis en pause par défaut lors de leur création ? | False |
AIRFLOW__CORE__PLUGINS_FOLDER | Chemin d’accès du dossier contenant les plug-ins Airflow. | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Dossier dans lequel Airflow doit stocker ses fichiers journaux. | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Mise en forme pour les noms de fichier ou les chemins d’accès que génère Airflow pour chaque exécution de tâche. | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | Chemin d’accès complet du fichier journal dag_processor_manager . |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | La classe de configuration de journalisation spécifie la configuration de journalisation. Cette classe doit se trouver sur le chemin d’accès de la classe Python. | log_config.LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | Format de journal quand les journaux colorés sont activés. | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | Niveau de journalisation. | INFO |
AIRFLOW__METRICS__STATSD_ON | Permet d’envoyer des métriques à StatsD. | True |
AIRFLOW__METRICS__STATSD_HOST | Nom d’hôte du serveur StatsD. | geneva-services |
AIRFLOW__METRICS__STATSD_PORT | Numéro de port du serveur StatsD. | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | Préfixe pour toutes les métriques Airflow envoyées à StatsD. | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Chemin d’accès du répertoire où le planificateur Airflow écrit ses journaux de processus enfants. | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | Fréquence (en secondes) d’analyse des nouveaux fichiers du répertoire des DAG. Par défaut : 5 minutes. | 5 |
AIRFLOW__WEBSERVER__BASE_URL | URL de base de votre site web, car Airflow ne peut pas deviner quel domaine ou cname vous utilisez. Cette URL est utilisée dans les e-mails automatisés envoyés par Airflow pour pointer des liens vers le serveur web approprié. | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | Permet de définir la stratégie samesite sur le cookie de session. | Aucun |
AIRFLOW__WEBSERVER__COOKIE_SECURE | Permet de définir un indicateur sécurisé sur le cookie de session. | True |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | Permet d’exposer le fichier de configuration dans le serveur web. | False |
AIRFLOW__WEBSERVER__AUTHENTICATE | Permet d’authentifier l’utilisateur pour qu’il se connecte à l’interface utilisateur Airflow. | True |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | Si la valeur est True, Airflow se charge du suivi des fichiers dans le répertoire plugins_folder . Quand il détecte des changements, il recharge le gunicorn. |
True |
AIRFLOW__WEBSERVER__SECRET_KEY | Clé secrète utilisée pour exécuter votre application flask. | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | Liste séparée par des virgules des back-ends d’authentification pour authentifier les utilisateurs de l’API. | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | True |