지원되는 Apache Airflow 구성
참고 항목
이 기능은 공개 미리 보기로 제공됩니다. 워크플로 오케스트레이션 매니저는 Apache Airflow를 통해 구동됩니다.
워크플로 오케스트레이션 관리자에서 Apache Airflow 구성을 플랫폼의 런타임과 키-값 쌍으로 통합할 수 있습니다. UI에서 airflow.cfg
에 직접 액세스할 수는 없지만 사용자는 UI의 '에어플로우 구성 재정의' 섹션을 통해 이러한 구성을 재정의하여 다른 airflow.cfg
설정에 대한 액세스 권한을 유지할 수 있습니다. 개발자는 워크플로 오케스트레이션 관리자 except for those explicitly outlined in a provided table
내에서 대부분의 Apache Airflow 구성을 재정의할 수 있습니다.
적용 대상: Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
Apache Airflow 구성에 대한 자세한 내용은 구성 참조를 확인합니다.
다음 표에는 재정의를 지원하지 않는 구성 목록이 포함되어 있습니다.
구성 | 설명 | 기본값 |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | Flower의 루트 URL입니다. | "" |
AIRFLOW__CORE__DAGS_FOLDER | Airflow 파이프라인이 있는 폴더의 경로입니다. | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | 피클링 DAG를 사용하지 않도록 설정할지 여부를 나타냅니다. | False |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | xcom에 대한 피클링을 사용하도록 설정할지 여부를 나타냅니다. | False |
AIRFLOW__CORE__EXECUTOR | Airflow가 사용해야 하는 실행기 클래스입니다. | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | 데이터베이스에 연결 비밀을 저장하기 위한 비밀 키입니다. | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | DAG는 만들 때 기본적으로 일시 중지되나요? | False |
AIRFLOW__CORE__PLUGINS_FOLDER | Airflow 플러그 인이 포함된 폴더의 경로입니다. | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Airflow가 로그 파일을 저장해야 하는 폴더입니다. | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | Airflow가 각 작업 실행에 대한 파일 이름이나 경로를 생성하는 방법에 대한 서식입니다. | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | dag_processor_manager 로그 파일의 전체 경로입니다. |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | 로깅 구성 클래스는 로깅 구성을 지정합니다. 이 클래스는 Python 클래스 경로에 있어야 합니다. | log_config.LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | 색이 지정된 로그를 사용하는 경우의 로그 형식입니다. | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | 로깅 수준입니다. | INFO |
AIRFLOW__METRICS__STATSD_ON | StatsD에 메트릭 전송을 사용하도록 설정합니다. | True |
AIRFLOW__METRICS__STATSD_HOST | StatsD 서버의 호스트 이름입니다. | geneva-services |
AIRFLOW__METRICS__STATSD_PORT | StatsD 서버의 포트 번호입니다. | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | StatsD로 전송되는 모든 Airflow 메트릭의 접두사입니다. | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Airflow 스케줄러가 자식 프로세스 로그를 작성하는 디렉터리의 경로입니다. | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | DAG 디렉터리에서 새 파일을 검사하는 빈도(초)입니다. 기본값은 5분입니다. | 5 |
AIRFLOW__WEBSERVER__BASE_URL | Airflow는 사용자가 사용 중인 도메인이나 cname을 추측할 수 없기 때문에 웹 사이트의 기준 URL입니다. 이 URL은 Airflow가 올바른 웹 서버에 대한 링크를 지정하기 위해 보내는 자동 이메일에 사용됩니다. | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | 세션 쿠키에 대한 samesite 정책을 설정합니다. | 없음 |
AIRFLOW__WEBSERVER__COOKIE_SECURE | 세션 쿠키에 보안 플래그를 설정합니다. | True |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | 웹 서버에 구성 파일을 노출합니다. | False |
AIRFLOW__WEBSERVER__AUTHENTICATE | Airflow UI에 로그인하려면 사용자를 인증합니다. | True |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | True로 설정하면 Airflow가 plugins_folder 디렉터리의 파일을 추적합니다. 변경 내용이 검색되면 gunicorn을 다시 로드합니다. |
True |
AIRFLOW__WEBSERVER__SECRET_KEY | 플라스크 앱을 실행하는 데 사용되는 비밀 키입니다. | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | API 사용자를 인증하기 위한 쉼표로 구분된 인증 백 엔드 목록입니다. | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | True |