Udostępnij za pośrednictwem


Obsługiwane konfiguracje systemu Apache Airflow

Uwaga

Ta funkcja jest dostępna w publicznej wersji zapoznawczej. Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.

W programie Workflow Orchestration Manager konfiguracje platformy Apache Airflow można zintegrować ze środowiskiem uruchomieniowym platformy jako parami klucz-wartość. Chociaż element airflow.cfg nie jest dostępny bezpośrednio w interfejsie użytkownika, użytkownicy mogą zastąpić te konfiguracje za pośrednictwem sekcji "Przesłonięcia konfiguracji przepływu powietrza" interfejsu użytkownika, zachowując dostęp do innych airflow.cfg ustawień. Deweloperzy mają elastyczność zastępowania większości konfiguracji platformy Apache Airflow w programie Workflow Orchestration Manager, except for those explicitly outlined in a provided table.

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Aby uzyskać więcej informacji na temat konfiguracji platformy Apache Airflow, zobacz Informacje o konfiguracji.

Poniższa tabela zawiera listę konfiguracji, które nie obsługują przesłonięć.

Konfigurowanie opis Domyślna wartość
AIRFLOW__CELERY__FLOWER_URL_PREFIX Główny adres URL kwiatu. ""
AIRFLOW__CORE__DAGS_FOLDER Ścieżka folderu, w którym działają potoki airflow. AIRFLOW_DAGS_FOLDER
AIRFLOW__CORE__DONOT_PICKLE Czy wyłączyć zbieranie grup DAG. Fałsz
AIRFLOW__CORE__ENABLE_XCOM_PICKLING Czy włączyć pickling dla xcom. Fałsz
AIRFLOW__CORE__EXECUTOR Klasa wykonawcza, która powinna być używana przez funkcję Airflow. SelryExecutor
AIRFLOW__CORE__FERNET_KEY Klucz tajny do zapisywania haseł połączeń w bazie danych. AIRFLOW_FERNET_KEY
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION Czy grupy DAGs są domyślnie wstrzymane podczas tworzenia? Fałsz
AIRFLOW__CORE__PLUGINS_FOLDER Ścieżka do folderu zawierającego wtyczki Airflow. AIRFLOW_PLUGINS_FOLDER
AIRFLOW__LOGGING__BASE_LOG_FOLDER Folder, w którym program Airflow powinien przechowywać pliki dziennika. /opt/airflow/logs
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE Formatowanie sposobu generowania przez aplikację Airflow nazw plików lub ścieżek dla każdego przebiegu zadania. {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION Pełna ścieżka dag_processor_manager pliku dziennika. /opt/airflow/logs/dag_processor_manager/dag_processor_manager.log
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS Klasa konfiguracji rejestrowania określa konfigurację rejestrowania. Ta klasa musi znajdować się w ścieżce klasy języka Python. log_config. LOGGING_CONFIG
AIRFLOW__LOGGING__COLORED_LOG_FORMAT Format dziennika, gdy włączono kolorowe dzienniki. [%(asctime)s] {{%(nazwa pliku)s:%(lineno)d}} %(nazwa poziomu)s — %(message)s
AIRFLOW__LOGGING__LOGGING_LEVEL Poziom rejestrowania. INFO
AIRFLOW__METRICS__STATSD_ON Umożliwia wysyłanie metryk do elementu StatsD. Prawda
AIRFLOW__METRICS__STATSD_HOST Nazwa hosta serwera StatsD. usługi genewskie
AIRFLOW__METRICS__STATSD_PORT Numer portu serwera StatsD. 8125
AIRFLOW__METRICS__STATSD_PREFIX Prefiks dla wszystkich metryk przepływu powietrza wysyłanych do elementu StatsD. AirflowMetrics
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY Ścieżka katalogu, w którym harmonogram airflow zapisuje dzienniki procesów podrzędnych. /opt/airflow/logs/scheduler
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL Jak często (w sekundach) przeskanować katalog grup DAG pod kątem nowych plików. Wartość domyślna to 5 minut. 5
AIRFLOW__WEBSERVER__BASE_URL Podstawowy adres URL witryny internetowej, ponieważ aplikacja Airflow nie może odgadnąć, jakiej domeny lub nazwy cname używasz. Ten adres URL jest używany w automatycznych wiadomościach e-mail wysyłanych przez usługę Airflow do wskazywania linków do odpowiedniego serwera internetowego. https://localhost:8080
AIRFLOW__WEBSERVER__COOKIE_SAMESITE Ustaw te same zasady witryny w pliku cookie sesji. Brak
AIRFLOW__WEBSERVER__COOKIE_SECURE Ustaw bezpieczną flagę pliku cookie sesji. Prawda
AIRFLOW__WEBSERVER__EXPOSE_CONFIG Uwidaczniaj plik konfiguracji na serwerze sieci Web. Fałsz
AIRFLOW__WEBSERVER__AUTHENTICATE Uwierzytelnianie użytkownika w celu zalogowania się do interfejsu użytkownika aplikacji Airflow. Prawda
AIRFLOW__WEBSERVER__AUTH_BACKEND airflow.api.auth.backend.basic_auth
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE Jeśli ustawiono wartość True, funkcja Airflow śledzi pliki w plugins_folder katalogu. Po wykryciu zmian załaduj ponownie gunicorn. Prawda
AIRFLOW__WEBSERVER__SECRET_KEY Klucz tajny używany do uruchamiania aplikacji flask. AIRFLOW_FERNET_KEY
AIRFLOW__API__AUTH_BACKEND Rozdzielana przecinkami lista zapleczy uwierzytelniania w celu uwierzytelniania użytkowników interfejsu API. airflow.api.auth.backend.basic_auth
AIRFLOW__API__ENABLE_EXPERIMENTAL_API Prawda