作業時程表
作業時間線是分析管線或查詢的絕佳起點。 它提供您執行的內容、每個步驟花費的時間,以及是否有任何失敗的概觀。
如何開啟作業時程表
在 Spark UI 中,點擊 [作業] 和 [事件時間軸],如以下螢幕截圖中的紅色標示。 您會看到時程表。 這個範例顯示 Driver 和 Executor 0 的新增:
注意要點
下列各節 explain 如何讀取事件時間軸,以探索效能或成本問題的可能原因。 如果您注意到時間軸中的任何趨勢,每個對應區段的結尾都會包含提供指引的文章連結。
失敗的工作或失敗的執行程式
以下是失敗作業和移除的執行程式範例,以事件時間軸中的紅色狀態表示。
如果您看到失敗的工作或失敗的執行程式,請參閱 失敗的工作或執行程式移除。
執行中的不足之處
尋找一分鐘以上的間距,例如此範例:
此範例有數個間距,其中幾個由紅色箭頭標示出。 如果您在時間軸中看到差距,它們是否為一分鐘以上? 當駕駛員協調工作時,預期會有短暫的空檔。 如果您有較長的間距,它們是否位於管線中間? 還是這個叢集一直在運行,因此差距是由活動暫停所導致的? 您可以根據工作負載啟動和結束的時間來判斷這個值。
如果您在數據管道中看到無法解釋的長時間間距,請參閱 Spark 作業之間的間距 。
長時間的工作
時間線是否由一或幾個耗時較長的工作主導? 這些長期任務值得研究。 在以下的範例中,工作負載中有一項作業明顯比其他作業長。 這是調查的好目標。
點擊最長的工作以深入了解。 如需調查這個長階段的相關資訊,請參閱在 Spark 中診斷長階段 。
許多小工作
我們在這裡尋找的是一個由小工作主導的時程表。 它看起來可能像這樣:
請注意所有微小的藍色線條。 每一項都是需要幾秒鐘或更少時間的小型工作。
如果您的時程表大部分是小型作業,請參閱 許多小型 Spark 作業。
以上皆非
如果您的時程表看起來不像上述任何一項,下一個步驟是識別最長的工作。 依工期排序作業,然後按下描述中最長作業的連結:
一旦您進入最長工作的頁面,可以在 中的「在 Spark 中診斷長階段」找到有關調查此長階段的其他資訊。