監視 Apache Spark 應用程式資源使用率
[資源] 索引標籤下的執行程式使用圖表,會在Spark執行期間,以近乎即時的方式可視化目前Spark應用程式的Spark執行程式配置和使用率。 該圖表還提供互動體驗,允許您在特定時刻點擊正在運行的執行程序以查看 Spark 作業和任務。 目前,只有Spark運行時間3.4版和更新版本支援此功能。
資源標籤頁
單擊 [資源] 索引標籤來存取具有四個不同折線圖的圖表,每個圖表都描述不同的執行程序狀態:執行、閑置、已設定,以及 最大實例。
執行:這顯示了 Spark 應用程式用來執行 Spark 作業和任務的實際核心數目。
閑置:這代表Spark應用程式執行時可用但未使用的核心數目。
已配置:這是指 Spark 應用程式在執行期間分配的處理器核心。
實例數目上限:這表示可以配置給Spark應用程式的核心數目上限。
切換色彩圖例以選擇或取消相應的資源使用率圖表。
資源使用率圖表是互動式的。 當您將滑鼠暫留在執行中的執行程式核心圖形上時,會出現核心摘要和對應的執行程序資訊。 按兩下執行中執行執行程式核心線中的某個點,將會在該特定時刻顯示個別執行程式和作業的詳細資訊,顯示在圖形底部。
注意
在某些情況下,在特定時間點,工作數目可能會超過執行程式核心的容量(亦即工作編號 > 執行程式核心/spark.task.cpus 總計)。 這是可以預期的,因為工作在執行程式核心上被標示為執行中和實際執行之間可能會有時間差。 因此,某些工作可能會顯示為執行中,但它們不會在任何核心上主動執行。
相關內容
如需 Fabric Spark 監視、Spark 應用程式監視和 Notebook 情境監視的概觀,您可以參考: