ワークフローオーケストレーションマネージャーの診断ログとメトリック

Note

ワークフローオーケストレーションマネージャーは Apache Airflow を利用しています。

この記事では、その手順について説明します。

前提条件

Azure サブスクリプションが必要です。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料の Azure アカウントを作成してください。

Data Factory リソースを開き、左端のウィンドウで [診断設定] を選択します。次に [診断設定を追加する] を選択します。
診断設定の名前を入力します。 Airflow ログの次のカテゴリを選択します。
- Airflow task execution logs (Airflow タスク実行ログ)
- Airflow worker logs (Airflow ワーカーログ)
- Airflow DAG 処理ログ
- Airflow scheduler logs (Airflow スケジューラログ)
- Airflow web logs (Airflow Web ログ)
- AllMetrics を選択する場合、監視したりアラートを生成するためにさまざまな Data Factory メトリクスを利用できます。これらのメトリックには、Data Factory アクティビティとワークフローオーケストレーションマネージャー統合ランタイムのメトリック (AirflowIntegrationRuntimeCpuUsage や AirflowIntegrationRuntimeMemory など) が含まれます。
[宛先の詳細] で、[Send to Log Analytics workspace](Log Analytics ワークスペースに送信する) チェックボックスをオンにします。
[保存] を選択します。

診断設定を追加すると、[診断設定] セクションに一覧表示されます。ログにアクセスして表示するには、構成した Log Analytics ワークスペースを選択します。
[Log Analytics エクスペリエンスを最大化する] セクションの下にある [ログの表示] を選択します。
Log Analytics ワークスペースに移動し、選択したテーブルが自動的にワークスペースにインポートされたことが確認できます。

スキーマに関するその他の役立つリンク:

ADFAirflowTaskLogs 内のすべてのレコードを返す最も単純なクエリから始めましょう。テーブル名をダブルクリックして、クエリウィンドウにそれを追加できます。また、ウィンドウにテーブル名を直接入力することもできます。
特定のタスク ID に基づいてフィルター処理するなど、検索結果を絞り込むには、次のクエリを使用できます。
```
ADFAirflowTaskLogs
| where DagId == "<your_dag_id>"
and TaskId == "<your_task_id>"
```

同様に、LogManagement で利用可能なテーブルを使用して、ニーズに応じてカスタムクエリを作成できます。

詳細については、以下を参照してください:

Data Factory は、Airflow 統合ランタイムの包括的なメトリックを提供するため、Airflow 統合ランタイムのパフォーマンスを効果的に監視し、必要に応じてアラートメカニズムを確立できます。

Data Factory リソースを開きます。
左端のウィンドウの [監視] セクションで、[メトリック] を選択します。
監視する [スコープ]>[メトリック名前空間]>[メトリック] を選択します。
Integration Runtime の CPU パーセンテージとエアフロー統合ランタイムの Dag Bag サイズを視覚化する複数折れ線グラフを確認します。
メトリックが特定の条件を満たした場合にトリガーされるアラートルールを設定できます。詳細については、Azure Monitor アラートの概要に関するページを参照してください。
グラフが完了した後、[ダッシュボードに保存] を選択します。それ以外の場合、グラフは消えます。

ワークフローオーケストレーションマネージャーで使用できるメトリックを確認するには、サポートされるメトリック表に示されている Airflow メトリックを表示します。