サポートされている Apache Airflow 校正
Note
この機能はパブリック プレビュー段階にあります。 ワークフロー オーケストレーション マネージャーは Apache Airflow を利用しています。
ワークフロー オーケストレーション マネージャーでは、Apache Airflow 構成をキーと値のペアとしてプラットフォームのランタイムと統合できます。 UI では airflow.cfg
に直接アクセスできないが、ユーザーは他の airflow.cfg
設定へのアクセスを維持したまま UI の "Airflow 構成のオーバーライド" セクションでこれらの構成をオーバーライドできます。 ワークフロー オーケストレーション マネージャー except for those explicitly outlined in a provided table
内でほとんどの Apache Airflow 構成をオーバーライドする柔軟性が開発者に与えられます。
適用対象: Azure Data Factory
Azure Synapse Analytics
ヒント
企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。
Apache Airflow の構成の詳細については、「構成リファレンス」を参照してください。
次の表に、オーバーライドをサポートしていない構成の一覧を示します。
構成 | 説明 | 規定値 |
---|---|---|
AIRFLOW__CELERY__FLOWER_URL_PREFIX | Flower のルート URL。 | "" |
AIRFLOW__CORE__DAGS_FOLDER | Airflow パイプラインが配置されているフォルダーのパス。 | AIRFLOW_DAGS_FOLDER |
AIRFLOW__CORE__DONOT_PICKLE | DAG のピクル化を無効にするかどうか。 | False |
AIRFLOW__CORE__ENABLE_XCOM_PICKLING | xcom のピクル化を有効にするかどうか。 | False |
AIRFLOW__CORE__EXECUTOR | Airflow で使用する Executor クラス。 | CeleryExecutor |
AIRFLOW__CORE__FERNET_KEY | データベースに接続パスワードを保存するための秘密鍵。 | AIRFLOW_FERNET_KEY |
AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION | DAG は既定で作成時に一時停止されるか? | False |
AIRFLOW__CORE__PLUGINS_FOLDER | Airflow プラグインを含むフォルダーへのパス。 | AIRFLOW_PLUGINS_FOLDER |
AIRFLOW__LOGGING__BASE_LOG_FOLDER | Airflow でそのログ ファイルを格納するフォルダー。 | /opt/airflow/logs |
AIRFLOW__LOGGING__LOG_FILENAME_TEMPLATE | 各タスク実行のファイル名またはパスを Airflow で生成する方法の書式設定。 | {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log |
AIRFLOW__LOGGING__DAG_PROCESSOR_MANAGER_LOG_LOCATION | dag_processor_manager ログ ファイルの完全なパス。 |
/opt/airflow/logs/dag_processor_manager/dag_processor_manager.log |
AIRFLOW__LOGGING__LOGGING_CONFIG_CLASS | ログ構成クラスはログ構成を指定します。 このクラスは Python クラス パス上にある必要があります。 | log_config.LOGGING_CONFIG |
AIRFLOW__LOGGING__COLORED_LOG_FORMAT | 色付きログが有効になっているときのログ形式。 | [%(asctime)s] {{%(filename)s:%(lineno)d}} %(levelname)s - %(message)s |
AIRFLOW__LOGGING__LOGGING_LEVEL | ログ記録レベル。 | INFO |
AIRFLOW__METRICS__STATSD_ON | StatsD へのメトリック送信を有効にします。 | True |
AIRFLOW__METRICS__STATSD_HOST | StatsD サーバーのホスト名。 | geneva-services |
AIRFLOW__METRICS__STATSD_PORT | StatsD サーバーのポート番号。 | 8125 |
AIRFLOW__METRICS__STATSD_PREFIX | StatsD に送信されるすべての Airflow メトリックのプレフィックス。 | AirflowMetrics |
AIRFLOW__SCHEDULER__CHILD_PROCESS_LOG_DIRECTORY | Airflow スケジューラがその子プロセス ログを書き込むディレクトリのパス。 | /opt/airflow/logs/scheduler |
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL | DAG のディレクトリで新しいファイルをスキャンする頻度 (秒単位)。 既定値は 5 分です。 | 5 |
AIRFLOW__WEBSERVER__BASE_URL | 使用しているドメインまたは cname が Airflow で推測できないため、Web サイトのベース URL。 この URL は、適切な Web サーバーへのリンクをポイントするために Airflow によって送信される自動メールで使用されます。 | https://localhost:8080 |
AIRFLOW__WEBSERVER__COOKIE_SAMESITE | セッション Cookie に同じサイト ポリシーを設定します。 | なし |
AIRFLOW__WEBSERVER__COOKIE_SECURE | セッション Cookie にセキュリティで保護されたフラグを設定します。 | True |
AIRFLOW__WEBSERVER__EXPOSE_CONFIG | Web サーバーで構成ファイルを公開します。 | False |
AIRFLOW__WEBSERVER__AUTHENTICATE | ユーザーを認証して Airflow UI にサインインします。 | True |
AIRFLOW__WEBSERVER__AUTH_BACKEND | airflow.api.auth.backend.basic_auth | |
AIRFLOW__WEBSERVER__RELOAD_ON_PLUGIN_CHANGE | True に設定すると、plugins_folder ディレクトリ内のファイルが Airflow によって追跡されます。 変更が検出されたら、gunicorn を再読み込みします。 |
True |
AIRFLOW__WEBSERVER__SECRET_KEY | flask アプリの実行に使用される秘密鍵。 | AIRFLOW_FERNET_KEY |
AIRFLOW__API__AUTH_BACKEND | API のユーザーを認証するための認証バックエンドのコンマ区切り一覧。 | airflow.api.auth.backend.basic_auth |
AIRFLOW__API__ENABLE_EXPERIMENTAL_API | True |