Azure Data Factory のパイプラインを監視する

  • 7 分

Azure Data Factory でパイプラインを作成して発行したら、それをトリガーに関連付けたり、オンデマンド実行を手動で開始したりすることができます。 Azure Data Factory ユーザー エクスペリエンスで、すべてのパイプラインの実行をネイティブに監視できます。 監視エクスペリエンスを開くには、Azure portal の [データ ファクトリ] ブレードで [監視と管理] タイルを選択します。 Azure Data Factory UX を既に使用している場合は、左側のサイドバーにある [監視] アイコンをクリックします。

パイプラインの実行を監視する

既定の監視ビューは、選択した期間でトリガーされたパイプラインの実行の一覧です。 時間の範囲を変更したり、状態、パイプライン名、または注釈でフィルター処理したりすることができます。 特定のパイプラインの実行にマウス ポインターを合わせて、再実行や消費レポートなどの実行固有のアクションを取得します。

List view for monitoring pipeline runs

パイプラインの実行グリッドには、次の列が含まれています。

列名 説明
Pipeline Name (パイプライン名) パイプラインの名前
Run Start (実行の開始) パイプラインの実行の開始日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
実行終了日時 パイプラインの実行の終了日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
Duration 実行期間 (HH:MM:SS)
Triggered By (トリガー元) パイプラインを開始したトリガーの名前
Status 失敗、成功、進行中、キャンセル済、または キューに登録済み
注釈 パイプラインに関連付けられたフィルター可能なタグ
パラメーター パイプラインの実行のパラメーター (名前/値のペア)
エラー パイプラインが失敗した場合の実行エラー
Run ID (実行 ID) パイプライン実行の ID。

パイプラインとアクティビティの実行一覧を最新の情報に更新するには、 [最新の情報に更新] ボタンを手動で選択する必要があります。 現在、自動更新はサポートされていません。

Refresh button

デバッグ実行の結果を表示するには、 [デバッグ] タブを選択します。

Select the View active debug runs icon

アクティビティの実行を監視する

特定のパイプライン実行の個々のアクティビティの実行の詳細ビューを取得するには、パイプライン名をクリックします。

View activity runs

リスト ビューには、各パイプラインの実行に対応するアクティビティの実行が表示されます。 特定のアクティビティの実行にマウス ポインターを合わせると、JSON 入力、JSON 出力、アクティビティ固有の詳細な監視エクスペリエンスなどの実行固有の情報を取得できます。 データ フロー、コピー、Azure Databricks などのアクティビティには、眼鏡アイコンをクリックして表示できる専用のビューがあります。

View the activity runs in the monitoring tool

列名 説明
Activity Name (アクティビティ名) パイプライン内のアクティビティの名前
Activity Type (アクティビティの種類) アクティビティの種類 (Copy、ExecuteDataFlow、AzureMLExecutePipeline など)
Actions JSON 入力情報、JSON 出力情報、またはアクティビティ固有の詳細な監視エクスペリエンスの表示を可能にするアイコン
Run Start (実行の開始) アクティビティの実行の開始日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
Duration 実行期間 (HH:MM:SS)
Status 失敗、成功、進行中、またはキャンセル済
統合ランタイム アクティビティが実行された統合ランタイム
ユーザー プロパティ アクティビティのユーザー定義プロパティ
エラー アクティビティが失敗した場合の実行エラー
Run ID (実行 ID) アクティビティ実行の ID。

アクティビティが失敗した場合、エラー列のアイコンをクリックすると、詳細なエラー メッセージを確認できます。

Viewing activity run errors

ガント ビュー

ガント チャートは、ある時間の範囲の実行履歴を表示できるビューです。 ガント ビューに切り替えると、名前でグループ化されたすべてのパイプライン実行が、実行にかかった時間に相対的なバーとして表示されます。 また、パイプラインに作成した注釈やタグでグループ化することもできます。 ガント ビューは、アクティビティの実行レベルでも使用できます。

Example of a Gantt chart

バーの長さはパイプラインの期間を示します。 バーを選択して詳細を表示することもできます。

Gantt chart duration

データ フロー デバッグ セッションを監視する

マッピング データ フローを使用すると、大規模に実行されるコーディング不要のデータ変換ロジックを作成できます。 ロジックを構築する際に、デバッグ セッションをオンにして、ライブ Spark クラスターを使用してインタラクティブにデータを操作することができます。

[監視] エクスペリエンスで、ファクトリ全体のアクティブなデータ フロー デバッグ セッションを監視できます。

View data flow debug sessions

監視ダッシュボード

パイプライン、アクティビティ、トリガーの実行の概要を視覚的に表示するには、[ダッシュボード] ペインに移動します。 ここでは、指定された期間の成功と失敗の数を確認できます。

reading the monitor dashboard

Azure Monitor を使用して監視する

Azure Monitor では、ほとんどの Azure サービスに対して、基礎レベルのインフラストラクチャのメトリックとログを提供します。 Azure 診断ログはリソースによって出力され、そのリソースの操作に関する豊富な頻出データを提供します。 Azure Data Factory (ADF) では、Azure Monitor に診断ログを書き込むことができます。

Data Factory では、パイプライン実行データを 45 日間だけ格納します。 データをより長期間保持する場合は、Azure Monitor を使用してください。 Monitor を使用すると、診断ログを複数の異なるターゲットにルーティングして分析できます。

  • [ストレージ アカウント] : 監査や手動での検査のために、診断ログをストレージ アカウントに保存します。 診断設定を使用して、リテンション期間 (日数) を指定できます。
  • イベント ハブ: ログを Azure Event Hubs にストリーミングします。 ログは、パートナー サービス/カスタム分析ソリューション (Power BI など) への入力となります。
  • Log Analytics:ログを Log Analytics で分析します。 Data Factory を Azure Monitor と統合することは、次のシナリオで役立ちます。
    • Data Factory から Monitor に発行された充実したメトリックのセットに対して、複雑なクエリを記述する必要がある場合。 Monitor を使用して、これらのクエリにカスタム アラートを作成できます。
    • データ ファクトリ全体を監視する必要があります。 複数のデータ ファクトリから 1 つの Monitor ワークスペースにデータをルーティングできます。

ログを出力するリソースのサブスクリプションにないストレージ アカウントまたはイベント ハブ名前空間を使用することもできます。 設定を構成するユーザーは、両方のサブスクリプションに対して適切な Azure ロールベースのアクセス制御 (Azure RBAC) アクセス権限を持っている必要があります。

診断設定とワークスペースを構成する

データ ファクトリに診断設定を作成または追加します。

  1. ポータルで Monitor に移動します。 [設定]>[診断設定] の順に選択します。

  2. 診断設定の対象となるデータ ファクトリを選択します。

  3. 選択したデータ ファクトリの設定が存在しない場合は、設定を作成するように求められます。 [診断を有効にする] を選択します。

Create a diagnostic setting if no settings exist

データ ファクトリに既存の設定が存在する場合は、データ ファクトリで構成済みの設定の一覧が表示されます。 [診断設定の追加] を選択します。

Add a diagnostic setting if settings exist

  1. 設定に名前を付け、 [Log Analytics への送信] を選択して、 [Log Analytics ワークスペース] からワークスペースを選択します。

    • Azure Diagnostics モードでは、診断ログは AzureDiagnostics テーブルに送られます。

    • Resource-Specific モードでは、Azure Data Factory からの診断ログは以下のテーブルに送られます。

      • ADFActivityRun
      • ADFPipelineRun
      • ADFTriggerRun
      • ADFSSISIntegrationRuntimeLogs
      • ADFSSISPackageEventMessageContext
      • ADFSSISPackageEventMessages
      • ADFSSISPackageExecutableStatistics
      • ADFSSISPackageExecutionComponentPhases
      • ADFSSISPackageExecutionDataStatistics

      お客様のワークロードに関連するさまざまなログを選択して、Log Analytics テーブルに送信できます。 たとえば、SQL Server Integration Services (SSIS) をまったく使用しない場合は、SSIS ログを選択する必要はありません。 SSIS Integration Runtime (IR) の開始、停止、またはメンテナンス操作をログに記録する場合は、SSIS IR ログを選択できます。 SQL Server Management Studio (SSMS)、SQL Server エージェント、またはその他の指定されたツールで T-SQL を使用して SSIS パッケージ実行を呼び出す場合は、SSIS パッケージ ログを選択できます。 SSIS パッケージの実行を ADF パイプラインの SSIS パッケージ実行アクティビティ経由で呼び出す場合は、すべてのログを選択できます。

    • AllMetrics を選択すると、監視したりアラートを生成したりするために、Azure Data Factor アクティビティ、パイプライン、およびトリガーの実行のメトリックに加え、SSIS IR 操作と SSIS パッケージ実行のメトリックを含むさまざまな Azure Data Factory メトリックを使用できるようになります。

Name your settings and select a log-analytics workspace

> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
  1. [保存] を選択します。

しばらくすると、このデータ ファクトリに対する設定の一覧に新しい設定が表示されます。 新しいイベント データが生成されるとすぐに、診断ログがそのワークスペースにストリーミングされます。 イベントが生成されてから、Log Analytics に表示されるまでに最大 15 分かかかる場合があります。