識別 Spark DAG 中的高成本讀取

前往 DAG

假設您正在查看昂貴的作業，首先我們需要執行讀取的階段標識碼。 我們在這裡可以看到階段標識碼為 194：

現在我們需要取得 SQL DAG。 向上捲動至作業頁面頂端，然後點擊 相關 SQL 查詢：

您現在應該會看到 DAG。 如果沒有，請捲動一點，您應該會看到它：

在某些情況下，您可以遵循 DAG 並查看數據的來源。 在其他情況下，尋找您注意到的階段標識碼：

在 DAG 中的 SQL 階段

然後，您需要尋找「掃描」節點。 在此情況下，我們很容易知道我們正在讀取名為 transactions的數據表：

中

在某些情況下，您可能需要點擊或滑過節點，以獲取您正在閱讀的資料的位置。