Apache Airflow ジョブとは
Note
Apache Airflow ジョブは、Apache Airflow を使用しています。
Apache Airflow ジョブは、Azure Data Factory の次世代のワークフロー オーケストレーション マネージャーです。 これにより Apache Airflow のオーケストレーション ジョブを簡単かつ効率的に作成して管理し、有向非循環グラフ (DAG) を簡単かつ大規模に実行することができます。 これは Fabric の Data Factory の一部であり、これを使用すると、豊富なデータ ソース (データベース、データ ウェアハウス、レイクハウス、リアルタイム データなど) からデータを取り込み、準備し、変換するための最新のデータ統合エクスペリエンスが利用できます。
Apache Airflow ジョブを使用する状況
Apache Airflow ジョブが提供するマネージド サービスを使用すると、ユーザーが、基になるインフラストラクチャを気にすることなく、ワークフロー オーケストレーション用 Python ベース DAG (有向非循環グラフ) を作成し、管理することができます。 Apache Airflow の経験がある場合、またはコード中心のアプローチを希望する場合は、このオプションが最適です。 一方、データ オーケストレーション用のノーコード ソリューションを使用する場合、データ パイプラインは、Python ベースのワークフローの管理や記述を必要としないユーザー フレンドリな代替手段を提供します。
主な機能
Microsoft Fabric がホストする Apache Airflow ジョブは、次のようなさまざまな強力な機能を提供しています。
| 主な機能 | Fabric の Apache Airflow ジョブ | Azure Data Factory のワークフロー オーケストレーション マネージャー |
|---|---|---|
| Git 同期 | はい | はい |
| バックエンドとしての AKV (Azure Key Vault) の有効化 | はい | はい |
| 要件としてプライベート パッケージをインストールする | はい | はい |
| 診断ログとメトリック | いいえ | はい |
| Blob Storage | いいえ | はい |
| Apache Airflow クラスターの IP アドレス | はい | はい |
| 運用ワークロードの実行スパイクを管理するための自動スケール | はい | 部分的 |
| 停止/ダウンタイムを軽減するための高可用性 | はい | いいえ |
| アイドル状態の演算子を中断してworkerを解放するための遅延演算子 | はい | いいえ |
| TTL (Time to Live) の一時停止と再開 | はい | いいえ |
| SaaSified Experience - 開始まで 10 秒 - DAG の作成 - Fabric 無料試用版 | はい | いいえ |
リージョンの可用性 (パブリック プレビュー)
- オーストラリア東部
- オーストラリア南東部
- ブラジル南部
- カナダ東部
- カナダ中部
- 東アジア
- 米国東部
- ドイツ中西部
- 東日本
- 西日本
- 北ヨーロッパ
- 南アフリカ北部
- 米国中南部
- インド南部
- 東南アジア
- スウェーデン中部
- スイス西部
- 英国南部
- 英国西部
- 米国中西部
- 西ヨーロッパ
- 米国西部
サポートされている Apache Airflow のバージョン
- 2.6.3
Python バージョンのサポート
- 3.8.17
Note
既存の IR 内の Apache Airflow バージョンの変更はサポートされていません。 代わりに、目的のバージョンの新しい Airflow IR を作成することをお勧めします
関連コンテンツ
- クイックスタート: Apache Airflow ジョブを作成する。