Compartir vía

Configuraciones compatibles de Apache Airflow

  • Artículo

Nota:

Esta característica está en versión preliminar pública. El Administrador de orquestación de flujo de trabajo cuenta con la tecnología de Apache Airflow.

En el Administrador de orquestación de flujo de trabajo, las configuraciones de Apache Airflow se pueden integrar con el ejecutable de la plataforma como pares clave-valor. Aunque airflow.cfg no es accesible directamente en la interfaz de usuario, los usuarios pueden invalidar estas configuraciones a través de la sección "Invalidaciones de configuración de Airflow" de la interfaz de usuario, conservando el acceso a otras opciones de airflow.cfg. Los desarrolladores tienen la flexibilidad de invalidar la mayoría de las configuraciones de Apache Airflow en el Administrador de orquestación de flujo de trabajo, except for those explicitly outlined in a provided table.

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.

Para obtener más información sobre las configuraciones de Apache Airflow, consulte la Referencia de configuración.

La tabla siguiente contiene la lista de configuraciones que no admiten invalidaciones.

Configuración Descripción Default value
AIRFLOW__CELERY__FLOWER_URL_PREFIX Dirección URL raíz de Flower. ""
AIRFLOW__CORE__DAGS_FOLDER Ruta de acceso de la carpeta donde se encuentran las canalizaciones de Airflow. AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE Indica si se debe deshabilitar la selección de DAG. False
AIRFLOW__CORE__ENABLE_XCOM_PICKLING Indica si se debe habilitar la selección para xcom. False
AIRFLOW__CORE__EXECUTOR Clase de ejecutor que debe usar Airflow. CeleryExecutor
AIRFLOW__CORE__FERNET_KEY Clave secreta para guardar contraseñas de conexión en la base de datos. AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION ¿Los DAG se ponen en pausa de forma predeterminada en la creación? False
AIRFLOW__CORE__PLUGINS_FOLDER Ruta de acceso a la carpeta que contiene complementos de Airflow. AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER Carpeta donde Airflow debe almacenar sus archivos de registro. /opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE Dar formato a la forma en que Airflow genera nombres de archivo o rutas de acceso para cada ejecución de tarea. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION Ruta de acceso completa del archivo de registro dag_processor_manager. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS La clase de configuración de registro especifica la configuración de registro. Esta clase debe estar en la ruta de acceso de clases de Python. log_config.LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT Formato de registro para cuando los registros coloreados están habilitados. [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL Nivel del registro. INFO
AIRFLOW__METRICS__STATSD_ON Habilita el envío de métricas a StatsD. True
AIRFLOW__METRICS__STATSD_HOST Nombre de host del servidor StatsD. geneva-services
AIRFLOW__METRICS__STATSD_PORT Número de puerto del servidor StatsD. 8125
AIRFLOW__METRICS__STATSD_PREFIX Prefijo para todas las métricas de Airflow enviadas a StatsD. AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY Ruta de acceso del directorio donde el programador de Airflow escribe sus registros de procesos secundarios. /opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL Frecuencia (en segundos) para examinar el directorio de DAG en busca de archivos nuevos. El valor predeterminado es 5 minutos. 5
AIRFLOW__WEBSERVER__BASE_URL La dirección URL base de su sitio web, ya que Airflow no puede adivinar qué dominio o cname está usando. Esta dirección URL se usa en correos electrónicos automatizados que Airflow envía para apuntar vínculos al servidor web correcto. https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE Establecimiento de la directiva samesite en la cookie de sesión. None
AIRFLOW__WEBSERVER__COOKIE_SECURE Establecimiento de la marca segura en la cookie de sesión. True
AIRFLOW__WEBSERVER__EXPOSE_CONFIG Exposición del archivo de configuración en el servidor web. False
AIRFLOW__WEBSERVER__AUTHENTICATE Autenticación del usuario para iniciar sesión en la interfaz de usuario de Airflow. True
AIRFLOW__WEBSERVER__AUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE Si se establece en True, Airflow realiza un seguimiento de los archivos en el directorio plugins_folder. Cuando detecta cambios, vuelva a cargar gunicorn. True
AIRFLOW__WEBSERVER__SECRET_KEY Clave secreta que se usa para ejecutar la aplicación Flask. AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND Lista separada por comas de back-end de autenticación para autenticar a los usuarios de la API. airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API True