異常な定期的ジョブのトラブルシューティング

重要

Azure Data Lake Analyticsは、2024 年 2 月 29 日に廃止されました。 詳細については、このお知らせを参照してください。

データ分析の場合、organizationは Azure Synapse Analytics または Microsoft Fabric を使用できます。

この記事では、Azure Data Lake Tools for Visual Studio を使って定期的なジョブの問題のトラブルシューティングを行う方法を示します。 パイプラインと定期的なジョブについて詳しくは、Azure Data Lake と Azure HDInsight のブログをご覧ください。

通常、定期的なジョブは同じクエリ ロジックと似た入力データを共有します。 たとえば、毎週月曜日の午前 8 時に実行して前週のアクティブなユーザーをカウントする定期的なジョブがあるとします。 これらのジョブのスクリプトはクエリ ロジックを含む 1 つのスクリプト テンプレートを共有します。 これらのジョブの入力は過去 1 週間の使用状況データです。 同じクエリ ロジックを共有して入力が似ていると、通常はこれらのジョブのパフォーマンスは似ていて安定しています。 定期的なジョブのいずれかで突然異常な実行、障害、速度低下が大量に発生した場合は、次のことを行います。

• 定期的なジョブのプレビュー実行の統計情報レポートを見て、何が起きたかを確認します。
• 異常なジョブと正常なジョブを比較して、何が変化したかを明らかにします。

Azure Data Lake Tools for Visual Studio の関連ジョブ ビューを使うと、どちらの場合についてもトラブルシューティングがはかどります。

ステップ 1: 定期的なジョブを探して関連ジョブ ビューを開く

関連ジョブ ビューを使って定期的なジョブの問題のトラブルシューティングを行うには、最初に Visual Studio で定期的なジョブを探してから、関連ジョブ ビューを開く必要があります。

ケース 1: 定期的なジョブの URL がわかっている

[ツール]>[Data Lake]>[ジョブ ビュー] の順に選択し、ジョブの URL を貼り付けて Visual Studio でジョブ ビューを開きます。 [関連ジョブの表示] を選択して関連ジョブ ビューを開きます。

ケース 2: 定期的なジョブのパイプラインはあるが、URL はわからない

Visual Studio で、[サーバー エクスプローラー] > Azure Data Lake Analytics のアカウント >[パイプライン] の順に選んで、パイプライン ブラウザーを開くことができます。 ([サーバー エクスプローラー] でこのノードが見つからない場合は、最新のプラグインをダウンロードしてください。)

パイプライン ブラウザーでは、Data Lake Analytics アカウントのすべてのパイプラインが左側に表示されます。 パイプラインを展開してすべての定期的なジョブを表示し、問題があるジョブを選択できます。 右側に関連ジョブ ビューが開きます。

ステップ 2: 統計レポートを分析する

概要および統計レポートは関連ジョブ ビューの上部に表示されます。 そこで、問題の根本原因を発見できます。

1. レポートでは、X 軸はジョブの送信時刻を示します。 これを使用して異常なジョブを見つけます。
2. 次の図のプロセスを使用して、統計情報を確認し、問題および考えられる解決策に関する洞察を得ます。

ステップ 3: 異常なジョブと正常なジョブを比較する

関連ジョブ ビューの下部にあるジョブの一覧で、すべての送信された定期的なジョブを見つけることができます。 詳細情報および考えられる解決策を見つけるには、異常なジョブを右クリックします。 ジョブの相違点ビューを使用して、異常なジョブと以前の正常なジョブを比較します。

これら 2 つのジョブの違いに注意してください。 これらの違いがおそらくパフォーマンスの問題の原因です。 さらに確認するには、次の図の手順を使用します。

次のステップ

• データ スキュー問題を解決する
• 失敗した U-SQL ジョブに対するユーザー定義の C# コードをデバッグする