Apache Spark アプリケーションのリソース使用率を監視する
[リソース] タブの Executor 使用状況グラフでは、Spark の実行中に、現在の Spark アプリケーションの Spark Executor の割り当てと使用率がほぼリアルタイムで視覚化されます。 グラフには対話型エクスペリエンスも用意されており、特定の時点で実行されている Executor をクリックして Spark ジョブとタスクを表示できます。 現時点では、Spark ランタイム バージョン 3.4 以降のみがこの機能をサポートしています。
[リソース] タブ
リソース タブをクリックして、それぞれ異なる実行プログラムの状態を示す 4 つの個別のライン グラフを含むグラフにアクセスします。実行中の、アイドル状態の、割り当てられた、最大インスタンス。
実行中の: Spark アプリケーションで Spark ジョブとタスクを実行するために使用されるコアの実際の数が表示されます。
アイドル状態の: これは、Spark アプリケーションの実行中に使用できるが未使用のコアの数を表します。
割り当てられた: これは、Spark アプリケーションの操作中に割り当てられたコアを指します。
インスタンスの最大数: Spark アプリケーションに割り当てることができるコアの最大数を示します。
色の凡例を切り替えて、リソース使用率グラフの対応するグラフを選択または選択解除します。
リソース使用率グラフは対話型です。 実行中の Executor コア グラフの上にマウス ポインターを置くと、コアの概要と対応する Executor 情報が表示されます。 実行中の Executor コアライン内のポイントをクリックすると、その特定の時点におけるそれぞれの Executor とジョブに関する詳細情報がグラフの下部に表示されます。
手記
場合によっては、特定の時点で、タスクの数が Executor コアの容量を超える可能性があります (つまり、タスク番号 > Executor コアの合計数/spark.task.cpus)。 これは、実行中としてマークされているタスクと Executor コアでの実際の実行との間に時間差がある可能性があるため、予想されます。 そのため、一部のタスクは実行中と見なされることがありますが、どのコアでもアクティブに実行されていません。
関連コンテンツ
Fabric Spark の監視、Spark アプリケーションの監視、ノートブックのコンテキスト監視の概要については、以下を参照してください。