ワークフロー オーケストレーション マネージャーで Airflow 環境を作成する
Note
ワークフロー オーケストレーション マネージャーは Apache Airflow を利用しています。
この記事では、ワークフロー オーケストレーション マネージャーで Airflow 環境を設定および構成する方法について説明します。
前提条件
- Azure サブスクリプション:Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。
- Azure Data Factory: ワークフロー オーケストレーション マネージャー プレビューがサポートされているリージョンで Data Factory インスタンスを作成するか、または既存のインスタンスを選択します。
環境の作成
新しいワークフロー オーケストレーション マネージャー環境を作成するには、次のようにします。
[管理］ ハブに移動し、[Airflow (プレビュー)］ > [+ 新規］ を選択して、[Airflow 環境のセットアップ］ ページを開きます。
情報を入力し、Airflow 構成のオプションを選択します。
重要
基本認証を使用する場合は、このページで指定したユーザー名とパスワードを覚えておいてください。 後で Airflow UI にサインインするために必要になります。 既定のオプションは [Azure AD］ です。 Airflow 環境のユーザー名とパスワードを作成する必要はありません。 代わりに、Azure Data Factory のサインイン ユーザーの資格情報を使用してサインインし、有向非循環グラフ (DAG) を監視します。
[Airflow 環境のセットアップ］ ページのその他のオプションは以下のとおりです。
- Git 同期の有効化: 手動で DAG をインポートする代わりに、Airflow 環境が Git リポジトリと自動的に同期するようにできます。 詳細については、「ワークフロー オーケストレーション マネージャーで GitHub リポジトリを同期する」を参照してください。
- エアーフロー構成のオーバーライド
airflow.cfgで設定したエアフロー設定をオーバーライドできます。 たとえば、name: AIRFLOW__VAR__FOOやvalue: BARです。 詳細については、「Airflow の構成」を参照してください - 環境変数: Airflow 内のこのキー値ストアを使用して、任意のコンテンツまたは設定を保存および取得できます。
- 要件: このオプションを使用して、Python ライブラリをプレインストールできます。 これらの要件は後で更新できます。
- Kubernetes シークレット: Airflow 環境用のカスタム Kubernetes シークレットを作成できます。 例として、KubernetesPodOperator のイメージをプルするためのプライベート レジストリ資格情報があります。
要件に従ってすべての情報を入力したら、[作成] を選びます。
