Obsługiwane konfiguracje systemu Apache Airflow
Uwaga
Ta funkcja jest dostępna w publicznej wersji zapoznawczej. Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.
W programie Workflow Orchestration Manager konfiguracje platformy Apache Airflow można zintegrować ze środowiskiem uruchomieniowym platformy jako parami klucz-wartość. Chociaż element airflow.cfg
nie jest dostępny bezpośrednio w interfejsie użytkownika, użytkownicy mogą zastąpić te konfiguracje za pośrednictwem sekcji "Przesłonięcia konfiguracji przepływu powietrza" interfejsu użytkownika, zachowując dostęp do innych airflow.cfg
ustawień. Deweloperzy mają elastyczność zastępowania większości konfiguracji platformy Apache Airflow w programie Workflow Orchestration Manager, except for those explicitly outlined in a provided table
.
DOTYCZY: Azure Data Factory Azure Synapse Analytics
Napiwek
Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Aby uzyskać więcej informacji na temat konfiguracji platformy Apache Airflow, zobacz Informacje o konfiguracji.
Poniższa tabela zawiera listę konfiguracji, które nie obsługują przesłonięć.
Konfigurowanie | opis | Domyślna wartość |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | Główny adres URL kwiatu. | "" |
AIRFLOW__CORE__DAGS_FOLDER | Ścieżka folderu, w którym działają potoki airflow. | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | Czy wyłączyć zbieranie grup DAG. | Fałsz |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | Czy włączyć pickling dla xcom. | Fałsz |
AIRFLOW__CORE__EXECUTOR | Klasa wykonawcza, która powinna być używana przez funkcję Airflow. | SelryExecutor |
AIRFLOW__CORE__FERNET_KEY | Klucz tajny do zapisywania haseł połączeń w bazie danych. | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | Czy grupy DAGs są domyślnie wstrzymane podczas tworzenia? | Fałsz |
AIRFLOW__CORE__PLUGINS_FOLDER | Ścieżka do folderu zawierającego wtyczki Airflow. | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Folder, w którym program Airflow powinien przechowywać pliki dziennika. | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Formatowanie sposobu generowania przez aplikację Airflow nazw plików lub ścieżek dla każdego przebiegu zadania. | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | Pełna ścieżka dag_processor_manager pliku dziennika. |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | Klasa konfiguracji rejestrowania określa konfigurację rejestrowania. Ta klasa musi znajdować się w ścieżce klasy języka Python. | log_config. LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | Format dziennika, gdy włączono kolorowe dzienniki. | [%(asctime)s] {{%(nazwa pliku)s:%(lineno)d}} %(nazwa poziomu)s — %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | Poziom rejestrowania. | INFO |
AIRFLOW__METRICS__STATSD_ON | Umożliwia wysyłanie metryk do elementu StatsD. | Prawda |
AIRFLOW__METRICS__STATSD_HOST | Nazwa hosta serwera StatsD. | usługi genewskie |
AIRFLOW__METRICS__STATSD_PORT | Numer portu serwera StatsD. | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | Prefiks dla wszystkich metryk przepływu powietrza wysyłanych do elementu StatsD. | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Ścieżka katalogu, w którym harmonogram airflow zapisuje dzienniki procesów podrzędnych. | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | Jak często (w sekundach) przeskanować katalog grup DAG pod kątem nowych plików. Wartość domyślna to 5 minut. | 5 |
AIRFLOW__WEBSERVER__BASE_URL | Podstawowy adres URL witryny internetowej, ponieważ aplikacja Airflow nie może odgadnąć, jakiej domeny lub nazwy cname używasz. Ten adres URL jest używany w automatycznych wiadomościach e-mail wysyłanych przez usługę Airflow do wskazywania linków do odpowiedniego serwera internetowego. | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | Ustaw te same zasady witryny w pliku cookie sesji. | Brak |
AIRFLOW__WEBSERVER__COOKIE_SECURE | Ustaw bezpieczną flagę pliku cookie sesji. | Prawda |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | Uwidaczniaj plik konfiguracji na serwerze sieci Web. | Fałsz |
AIRFLOW__WEBSERVER__AUTHENTICATE | Uwierzytelnianie użytkownika w celu zalogowania się do interfejsu użytkownika aplikacji Airflow. | Prawda |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | Jeśli ustawiono wartość True, funkcja Airflow śledzi pliki w plugins_folder katalogu. Po wykryciu zmian załaduj ponownie gunicorn. |
Prawda |
AIRFLOW__WEBSERVER__SECRET_KEY | Klucz tajny używany do uruchamiania aplikacji flask. | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | Rozdzielana przecinkami lista zapleczy uwierzytelniania w celu uwierzytelniania użytkowników interfejsu API. | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | Prawda |