Configurações de fluxo de ar Apache suportadas
Nota
Esta funcionalidade está em pré-visualização pública. O Workflow Orchestration Manager é alimentado pelo Apache Airflow.
No Workflow Orchestration Manager, as configurações do Apache Airflow podem ser integradas ao tempo de execução da plataforma como pares chave-valor. Embora o airflow.cfg
não esteja diretamente acessível na interface do usuário, os usuários podem substituir essas configurações por meio da seção "Substituições de configuração de fluxo de ar" da interface do usuário, mantendo o acesso a outras airflow.cfg
configurações. Os desenvolvedores têm a flexibilidade de substituir a maioria das configurações do Apache Airflow no Workflow Orchestration Manager, except for those explicitly outlined in a provided table
.
APLICA-SE A: Azure Data Factory Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Para obter mais informações sobre as configurações do Apache Airflow, consulte Referência de configuração.
A tabela a seguir contém a lista de configurações que não oferecem suporte a substituições.
Configuração | Description | Default value |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | O URL raiz para Flower. | "" |
AIRFLOW__CORE__DAGS_FOLDER | O caminho da pasta onde vivem os dutos de fluxo de ar. | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | Se os DAGs de decapagem devem ser desabilitados. | False |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | Se é necessário ativar a decapagem para xcom. | False |
AIRFLOW__CORE__EXECUTOR | A classe executor que o Airflow deve usar. | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | Chave secreta para salvar senhas de conexão no banco de dados. | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | Os DAGs são pausados por padrão na criação? | False |
AIRFLOW__CORE__PLUGINS_FOLDER | Caminho para a pasta que contém plug-ins do Airflow. | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | A pasta onde o Airflow deve armazenar seus arquivos de log. | /opt/fluxo de ar/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Formatação de como o Airflow gera nomes de arquivo ou caminhos para cada tarefa executada. | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | Caminho completo do dag_processor_manager arquivo de log. |
/opt/fluxo de ar/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | A classe de configuração de log especifica a configuração de log. Essa classe deve estar no caminho da classe Python. | log_config. LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | Formato de log para quando Logs coloridos estiver habilitado. | [%(asctime)s] {{%(nome do arquivo)s:%(lineno)d}} %(levelname)s - %(mensagem)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | Nível de registo. | INFORMAÇÃO |
AIRFLOW__METRICS__STATSD_ON | Permite o envio de métricas para o StatsD. | True |
AIRFLOW__METRICS__STATSD_HOST | Nome do host do servidor StatsD. | Genebra-Serviços |
AIRFLOW__METRICS__STATSD_PORT | Número da porta do servidor StatsD. | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | Prefixo para todas as métricas de fluxo de ar enviadas para StatsD. | Métricas de fluxo de ar |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Caminho do diretório onde o agendador de fluxo de ar grava seus logs de processo filho. | /opt/fluxo de ar/logs/agendador |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | Com que frequência (em segundos) verificar o diretório dos DAGs em busca de novos arquivos. Padrão para 5 minutos. | 5 |
AIRFLOW__WEBSERVER__BASE_URL | O URL base do seu site porque o Airflow não consegue adivinhar qual domínio ou cname você está usando. Este URL é usado em e-mails automatizados que o Airflow envia para apontar links para o servidor web certo. | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | Defina a política samesite no cookie de sessão. | Nenhuma |
AIRFLOW__WEBSERVER__COOKIE_SECURE | Definir sinalizador seguro no cookie de sessão. | True |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | Exponha o arquivo de configuração no servidor Web. | False |
AIRFLOW__WEBSERVER__AUTHENTICATE | Autentique o usuário para entrar na interface do usuário do Airflow. | True |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | Se definido como True, o Airflow rastreia os plugins_folder arquivos no diretório. Quando detetar alterações, recarregue o gunicorn. |
True |
AIRFLOW__WEBSERVER__SECRET_KEY | Chave secreta usada para executar seu aplicativo de frasco. | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | Lista separada por vírgulas de backends de autenticação para autenticar usuários da API. | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | True |