Azure Data Factory を視覚的に監視する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

Azure Data Factory でパイプラインを作成して公開した後、それをトリガーに関連付けたり、アドホック実行を手動で開始したりできます。 Azure Data Factory ユーザー エクスペリエンスで、すべてのパイプラインの実行をネイティブに監視できます。 監視エクスペリエンスを開くには、Azure portal の [データ ファクトリ] ブレードで [監視と管理] タイルを選択します。 ADF UX を既に使用している場合は、左側のサイドバーにある [監視] アイコンをクリックします。

既定で、すべてのデータ ファクトリの実行は、ブラウザーのローカル タイム ゾーンで表示されます。 タイム ゾーンを変更した場合、すべての日付/時刻フィールドは選択したものにスナップされます。

パイプラインの実行を監視する

既定の監視ビューは、選択した期間でトリガーされたパイプラインの実行の一覧です。 時間の範囲を変更したり、状態、パイプライン名、または注釈でフィルター処理したりすることができます。 特定のパイプラインの実行にマウス ポインターを合わせて、再実行や消費レポートなどの実行固有のアクションを取得します。

パイプラインの実行グリッドには、次の列が含まれています。

列名	説明
Pipeline Name (パイプライン名)	パイプラインの名前
Run Start (実行の開始)	パイプラインの実行の開始日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
実行終了日時	パイプラインの実行の終了日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
Duration	実行期間 (HH:MM:SS)
Triggered By (トリガー元)	パイプラインを開始したトリガーの名前
Status	失敗、成功、進行中、キャンセル済、または キューに登録済み
注釈	パイプラインに関連付けられたフィルター可能なタグ
パラメーター	パイプラインの実行のパラメーター (名前/値のペア)
エラー	パイプラインが失敗した場合の実行エラー
実行	オリジナル、 再実行、または 再実行 (最新)
Run ID (実行 ID)	パイプライン実行の ID。

パイプラインとアクティビティの実行一覧を最新の情報に更新するには、 [最新の情報に更新] ボタンを手動で選択する必要があります。 現在、自動更新はサポートされていません。

デバッグ実行の結果を表示するには、 [デバッグ] タブを選択します。

アクティビティの実行を監視する

特定のパイプライン実行の個々のアクティビティの実行の詳細ビューを取得するには、パイプライン名をクリックします。

リスト ビューには、各パイプラインの実行に対応するアクティビティの実行が表示されます。 特定のアクティビティの実行にマウス ポインターを合わせると、JSON 入力、JSON 出力、アクティビティ固有の詳細な監視エクスペリエンスなどの実行固有の情報を取得できます。

列名	説明
Activity Name (アクティビティ名)	パイプライン内のアクティビティの名前
Activity Type (アクティビティの種類)	アクティビティの種類 (Copy、ExecuteDataFlow、AzureMLExecutePipeline など)
Actions	JSON 入力情報、JSON 出力情報、またはアクティビティ固有の詳細な監視エクスペリエンスの表示を可能にするアイコン
Run Start (実行の開始)	アクティビティの実行の開始日時 (MM/DD/YYYY, HH:MM:SS AM/PM)
Duration	実行期間 (HH:MM:SS)
Status	失敗、成功、進行中、またはキャンセル済
統合ランタイム	アクティビティが実行された統合ランタイム
ユーザー プロパティ	アクティビティのユーザー定義プロパティ
エラー	アクティビティが失敗した場合の実行エラー
Run ID (実行 ID)	アクティビティ実行の ID。

アクティビティが失敗した場合、エラー列のアイコンをクリックすると、詳細なエラー メッセージを確認できます。

監視対象のユーザー プロパティを昇格する

監視対象のエンティティになるように、任意のパイプラインのアクティビティ プロパティをユーザー プロパティとして昇格します。 たとえば、パイプラインのコピー アクティビティの Source プロパティと Destination プロパティをユーザー プロパティとして昇格できます。

注意

ユーザー プロパティとして昇格できるパイプライン アクティビティ プロパティは、最大 5 つです。

作成したユーザー プロパティは、監視リスト ビューで監視できます。

コピー アクティビティのソースがテーブル名の場合、アクティビティの実行のリスト ビューでソースのテーブル名を列として監視できます。

パイプラインとアクティビティの再実行

コンテナー アクティビティの再実行動作は次のとおりです。

• Wait - アクティビティは以前と同様に動作します。
• Set Variable - アクティビティは以前と同様に動作します。
• Filter - アクティビティは以前と同様に動作します。
• Until アクティビティは、式を評価し、条件が満たされるまでループします。 再実行ルールに基づいて、内側のアクティビティはスキップされる場合があります。
• Foreach アクティビティは、受け取った項目に対して常にループします。 再実行ルールに基づいて、内側のアクティビティはスキップされる場合があります。
• If and switch - 条件は常に評価されます。 すべての内部アクティビティが評価されます。 再実行ルールに基づいて、内部アクティビティはスキップされる場合がありますが、パイプラインの実行などのアクティビティは再実行されます。
• Execute pipeline activity - 子パイプラインがトリガーされますが、再実行ルールに基づいて、子パイプライン内のすべてのアクティビティが依然としてスキップされる場合があります。

以前に実行されたパイプラインを最初から再実行するには、特定のパイプラインの実行にマウス ポインターを合わせ、 [再実行] を選択します。 複数のパイプラインを選択した場合、 [再実行] ボタンを使用して、それらをすべて実行できます。

特定のポイントから再実行を開始する場合は、アクティビティの実行ビューから行うことができます。 開始するアクティビティを選択し、 [アクティビティから再実行する] を選択します。

パイプラインを再実行し、パラメーターを変更することもできます。 [新しいパラメーター] ボタンを選択してパラメーターを変更します。

注意

新しいパラメーターを使用してパイプラインを再実行すると、新しいパイプライン実行と見なされるため、パイプライン実行の再実行グループには表示されません。

失敗したアクティビティから再実行する

アクティビティが失敗した場合、タイムアウトした場合、または取り消された場合、 [Rerun from failed activity](失敗したアクティビティから再実行する) を選択して、失敗したアクティビティからパイプラインを再実行できます。

再実行履歴を表示する

パイプラインの全実行の再実行履歴は、リスト ビューで確認することができます。

特定のパイプラインの実行について、再実行履歴を確認することもできます。

消費量の監視

実行の横にある使用量アイコンをクリックすると、パイプラインの実行によって消費されているリソースを確認できます。

このアイコンをクリックすると、そのパイプラインの実行によって使用されているリソースの消費量レポートが開きます。

これらの値を Azure 料金計算ツールに組み込んで、パイプラインの実行のコストを見積もることができます。 Azure Data Factory 料金の詳細については、価格に関するページを参照してください。

注意

料金計算ツールによって返される値は、推定値です。 Azure Data Factory で課金される正確な金額は反映されません。

ガント ビュー

ガント チャートは、ある時間の範囲の実行履歴を表示できるビューです。 ガント ビューに切り替えると、名前でグループ化されたすべてのパイプライン実行が、実行にかかった時間に相対的なバーとして表示されます。 また、パイプラインに作成した注釈やタグでグループ化することもできます。 ガント ビューは、アクティビティの実行レベルでも使用できます。

バーの長さはパイプラインの期間を示します。 バーを選択して詳細を表示することもできます。

警告

Data Factory で、サポートされるメトリックに対してアラートを生成できます。 Data Factory の監視ページで [監視]>[Alerts & Metrics]\(アラートとメトリック\) の順に選択して開始します。

この機能の概要とデモンストレーションについては、以下の 7 分間の動画を視聴してください。

アラートを作成する

1. [新しいアラート ルール] を選択して新しいアラートを作成します。

   

2. ルール名を指定し、アラートの重大度を選択します。

   

3. アラートの条件を選択します。

   

   

   

   アラートは、さまざまなメトリックに対して作成できます。これには、ADF エンティティの数またはサイズ、アクティビティ、パイプライン、またはトリガーの実行、Integration Runtime (IR) CPU の使用率、メモリ、ノード数、またはキューに加えて、SSIS パッケージ実行および SSIS IR の開始または停止操作などのメトリックが含まれます。

4. アラート ロジックを構成します。 すべてのパイプラインと対応するアクティビティについて、選択したメトリックのアラートを作成できます。 また、特定のアクティビティの種類、アクティビティ名、パイプライン名、またはエラーの種類を選択することもできます。

   

5. アラートに対して、メール、SMS、プッシュ、および音声での通知を構成します。 アラート通知用にアクション グループを作成するか、既存のものを選択します。

   

   

6. アラート ルールを作成します。

   

関連するコンテンツ

パイプラインの監視と管理の詳細については、プログラムでのパイプラインの監視と管理に関する記事をご覧ください。