クイックスタート: Apache Airflow ジョブを作成する

[アーティクル]
11/07/2024

Note

Apache Airflow ジョブは Apache Airflow を活用しています。
Apache Airflow は、複雑なジョブをプログラムにより作成、スケジュール、監視するために使用されるオープンソースプラットフォームです。これにより、オペレーターと呼ばれる一連のタスクを定義でき、有向非循環グラフ (DAG) と組み合わせてデータパイプラインを表すことができます。

Apache Airflow ジョブは、Apache Airflow 環境を簡単かつ効率的に作成および管理する方法を提供します。これにより、オーケストレーションジョブを簡単に大規模に実行できます。このクイックスタートでは、Apache Airflow ジョブの環境と機能を理解するための単純な Apache Airflow ジョブを作成しましょう。

前提条件

テナントで Apache Airflow ジョブを有効にします。

Note

Apache Airflow ジョブはプレビュー状態であるため、テナント管理者を通じて有効にする必要があります。Apache Airflow ジョブが既に表示されている場合は、テナント管理者が既に有効にしている可能性があります。

[管理ポータル] -> [テナント設定] -> に移動、[Microsoft Fabric] の下 -> [ユーザーは Apache Airflow ジョブを作成して使用できます (プレビュー)] セクションを展開します。
適用を選択します。

Apache Airflow ジョブを作成する

既存のワークスペースを使用するか、新しいワークスペースを作成することができます。
+ New ドロップダウンを展開 -> [その他のオプション] をクリック -> Data Factory セクションの下 -> [Apache Airflow ジョブ] (プレビュー) を選択します
プロジェクトに適切な名前を付け、[作成] ボタンをクリックします。

DAG ファイルを作成する

[新しい DAG ファイル] カードをクリック -> ファイルに名前を付け、[作成] ボタンをクリックします。
定型 DAG コードが表示されます。ファイルは、実際の要件に応じて編集することができます。
[保存アイコン] をクリックします。

DAG を実行する

まず、[DAG の実行] ボタンをクリックします。
開始されると、DAG が実行されていることを示す通知がすぐに表示されます。
DAG 実行の進行状況を監視するには、通知センター内の [詳細の表示] をクリックします。このアクションにより Apache Airflow UI にリダイレクトされます。この UI を使用すると、DAG 実行の状態と詳細を簡単に追跡できます。