Configurazioni di Apache Airflow supportate
Nota
Questa funzionalità è disponibile in anteprima pubblica. Il gestore dell'orchestrazione del flusso di lavoro dispone di tecnologia Apache Airflow.
In Workflow Orchestration Manager le configurazioni di Apache Airflow possono essere integrate con il runtime della piattaforma come coppie chiave-valore. Anche se airflow.cfg
non è direttamente accessibile nell'interfaccia utente, gli utenti possono eseguire l'override di queste configurazioni tramite la sezione "Override della configurazione airflow" dell'interfaccia utente, mantenendo l'accesso ad altre impostazioni airflow.cfg
. Gli sviluppatori hanno la flessibilità necessaria per eseguire l'override della maggior parte delle configurazioni di Apache Airflow all'interno di Workflow Orchestration Manager, except for those explicitly outlined in a provided table
.
SI APPLICA A: Azure Data Factory
Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!
Per altre informazioni sulle configurazioni di Apache Airflow, vedere Informazioni di riferimento sulla configurazione.
La tabella seguente contiene l'elenco delle configurazioni che non supportano le sostituzioni.
Impostazione | Descrizione | Default value |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | URL radice per Flower. | "" |
AIRFLOW__CORE__DAGS_FOLDER | Percorso della cartella in cui si trovano le pipeline Airflow. | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | Indica se disabilitare i DAG di selezione. | Falso |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | Indica se abilitare la selezione per xcom. | Falso |
AIRFLOW__CORE__EXECUTOR | Classe executor che Airflow deve usare. | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | Chiave privata per salvare le password di connessione nel database. | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | I DAG vengono sospesi per impostazione predefinita al momento della creazione? | Falso |
AIRFLOW__CORE__PLUGINS_FOLDER | Percorso della cartella che contiene plug-in Airflow. | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Cartella in cui Airflow deve archiviare i file di log. | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Formattazione per il modo in cui Airflow genera nomi di file o percorsi per ogni esecuzione di attività. | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | Percorso completo del file di log dag_processor_manager . |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | La classe config di registrazione specifica la configurazione della registrazione. Questa classe deve trovarsi nel percorso della classe Python. | log_config. LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | Formato del log per quando i log colorati sono abilitati. | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | Livello di registrazione. | INFO |
AIRFLOW__METRICS__STATSD_ON | Abilita l'invio di metriche a StatsD. | Vero |
AIRFLOW__METRICS__STATSD_HOST | Nome host del server StatsD. | geneva-services |
AIRFLOW__METRICS__STATSD_PORT | Numero di porta del server StatsD. | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | Prefisso per tutte le metriche Airflow inviate a StatsD. | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Percorso della directory in cui l'utilità di pianificazione Airflow scrive i log dei processi figlio. | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | Frequenza (in secondi) per analizzare la directory dei gruppi di disponibilità dati per i nuovi file. Il valore predefinito è 5 minuti. | 5 |
AIRFLOW__WEBSERVER__BASE_URL | URL di base del sito Web perché Airflow non è in grado di indovinare il dominio o il nome c in uso. Questo URL viene usato nei messaggi di posta elettronica automatizzati inviati da Airflow per puntare i collegamenti al server Web corretto. | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | Impostare lo stesso criterio del sito sul cookie di sessione. | None |
AIRFLOW__WEBSERVER__COOKIE_SECURE | Impostare il flag sicuro nel cookie di sessione. | Vero |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | Esporre il file di configurazione nel server Web. | Falso |
AIRFLOW__WEBSERVER__AUTHENTICATE | Autenticare l'utente per accedere all'interfaccia utente di Airflow. | Vero |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | Se impostato su True, Airflow tiene traccia dei file nella directory plugins_folder . Quando rileva le modifiche, ricaricare il gunicorn. |
Vero |
AIRFLOW__WEBSERVER__SECRET_KEY | Chiave privata usata per eseguire l'app flask. | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | Elenco delimitato da virgole di back-end di autenticazione per autenticare gli utenti dell'API. | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | Vero |