共用方式為

使用 Synapse Studio 監視您的 Apache Spark 應用程式

  • 發行項

在 Azure Synapse Analytics 中，您可以使用 Apache Spark 在工作區的 Apache Spark 集區上執行筆記本、作業及其他類型的應用程式。

本文說明如何監視您的 Apache Spark 應用程式，讓您可以留意最新狀態、問題和進度。

檢視 Apache Spark 應用程式

您可以從 [監視器] ->[Apache Spark 應用程式] 檢視所有 Apache Spark 應用程式。

Screenshot of Apache Spark applications.

檢視已完成的 Apache Spark 應用程式

開啟 [監視器]，然後選取 [Apache Spark 應用程式]。 若要檢視已完成的 Apache Spark 應用程式詳細資料，請選取 Apache Spark 應用程式。

Screenshot of completed job details.

  1. 檢查 [已完成的工作]、[狀態] 和 [總持續時間]。

  2. 重新整理作業。

  3. 按一下 [比較應用程式] 以使用比較功能。如需這項功能的詳細資訊，請參閱比較 Apache Spark 應用程式。

  4. 按一下 [Spark 記錄伺服器] 以開啟 [記錄伺服器] 頁面。

  5. 檢查 [摘要] 資訊。

  6. 在 [診斷] 索引標籤中檢查診斷。

  7. 檢查 [記錄]。 您可以透過在下拉式清單中選取不同的選項，來檢視 [Livy]、[Prelaunch] 和 [Driver] 記錄的完整記錄。 此外，您可以搜尋關鍵字來直接擷取所需的記錄資訊。 按一下 [下載記錄] 將記錄資訊下載到本機，然後選取 [Filter errors and warnings] \(篩選錯誤和警告\) 核取方塊以篩選所需的錯誤和警告。

  8. 您可以在產生的作業圖表中查看作業概觀。 根據預設，圖表會顯示所有作業。 您可以依 [作業識別碼] 篩選此檢視。

  9. 預設會選取 [進度] 顯示。 您可以在 [檢視] 下拉式清單中選取 [進度]/[已讀取]/[已寫入]/[持續時間] 來檢查資料流程。

  10. 若要播放作業，請按一下 [播放] 按鈕。 您可以隨時按一下 [停止] 按鈕來停止。

  11. 使用捲軸來放大和縮小作業圖表。您也可以選取 [縮放至適當比例] 將其調整成最適螢幕大小。

Screenshot of completed job.

  1. 作業圖表節點會顯示每個階段的下列資訊：

    • 作業識別碼

    • 工作數

    • 持續時間

    • 資料列計數

    • 讀取的資料：輸入大小和隨機讀取大小的總和

    • 寫入的資料：輸出大小和隨機寫入大小的總和

    • 階段數

      Screenshot of job graph node.

  2. 將指標暫留在作業上方，作業詳細資料將會顯示在工具提示中：

    • 作業狀態的圖示：如果作業狀態成功，則會顯示為綠色的「√」；如果作業偵測到問題，則會顯示黃色的「！」

    • 作業識別碼

    • 一般部分：

      • 進度
      • 持續時間
      • 工作總數

    • 資料部分：

      • 資料列總數
      • 讀取大小
      • 寫入大小

    • 扭曲部分：

      • 資料扭曲
      • 時間扭曲

    • 階段數

      Screenshot of tooltip hovering over a job.

  3. 按一下 [階段數] 以展開作業中包含的所有階段。 按一下作業識別碼旁的 [摺疊] 以摺疊作業中的所有階段。

  4. 在階段圖表中按一下 [檢視詳細資料]，隨即顯示階段的詳細資料。

    Screenshot of stages expanded.

監視 Apache Spark 應用程式進度

開啟 [監視器]，然後選取 [Apache Spark 應用程式]。 若要檢視執行中的 Apache Spark 應用程式詳細資料，請選取已提交的 Apache Spark 應用程式。 如果 Apache Spark 應用程式仍在執行中，您可以監視進度。

Screenshot of selected running job

  1. 檢查 [已完成的工作]、[狀態] 和 [總持續時間]。

  2. 取消 Apache Spark 應用程式。

  3. 重新整理作業。

  4. 按一下 [Spark UI] 按鈕以前往 [Spark 作業] 頁面。

  5. 檢查 [作業圖表]、[摘要]、[診斷]、[記錄]。 您可以在產生的作業圖表中查看作業概觀。 請參閱檢視已完成的 Apache Spark 應用程式的步驟 5 - 15。

Screenshot of running job.

檢視已取消的 Apache Spark 應用程式

開啟 [監視器]，然後選取 [Apache Spark 應用程式]。 若要檢視已取消的 Apache Spark 應用程式詳細資料，請選取 Apache Spark 應用程式。

Screenshot of canceled job.

  1. 檢查 [已完成的工作]、[狀態] 和 [總持續時間]。

  2. 重新整理作業。

  3. 按一下 [比較應用程式] 以使用比較功能。如需這項功能的詳細資訊，請參閱比較 Apache Spark 應用程式。

  4. 按一下 [Spark 記錄伺服器] 來開啟 Apache 記錄伺服器連結。

  5. 檢視圖表。 您可以在產生的作業圖表中查看作業概觀。 請參閱檢視已完成的 Apache Spark 應用程式的步驟 5 - 15。

Screenshot of canceled job details.

偵錯失敗的 Apache Spark 應用程式

開啟 [監視器]，然後選取 [Apache Spark 應用程式]。 若要檢視已失敗的 Apache Spark 應用程式詳細資料，請選取 Apache Spark 應用程式。

Screenshot of failed job.

  1. 檢查 [已完成的工作]、[狀態] 和 [總持續時間]。

  2. 重新整理作業。

  3. 按一下 [比較應用程式] 以使用比較功能。如需這項功能的詳細資訊，請參閱比較 Apache Spark 應用程式。

  4. 按一下 [Spark 記錄伺服器] 來開啟 Apache 記錄伺服器連結。

  5. 檢視圖表。 您可以在產生的作業圖表中查看作業概觀。 請參閱檢視已完成的 Apache Spark 應用程式的步驟 5 - 15。

Screenshot of failed job details.

檢視輸入資料/輸出資料

選取 Apache Spark 應用程式，然後按一下 [輸入資料/輸出資料] 索引標籤，以檢視 Apache Spark 應用程式的輸入和輸出日期。 此功能可協助您偵錯 Spark 作業。 此外，資料來源支援三種儲存方法：gen1、gen2 和 blob。

[輸入資料] 索引標籤

  1. 按一下 [複製輸入] 按鈕，將輸入檔貼到本機。

  2. 按一下 [匯出至 CSV] 按鈕，以 CSV 格式匯出輸入檔。

  3. 您可以在搜尋方塊中依輸入關鍵字搜尋檔案 (關鍵字包括檔案名稱、讀取格式和路徑)。

  4. 您可以按一下 [名稱]、[讀取格式] 和 [路徑] 來排序輸入檔。

  5. 使用滑鼠將指標暫留在輸入檔上方，隨即顯示[下載]/[複製路徑]/[更多] 按鈕的圖示。

Screenshot of input tab.

  1. 按一下 [更多] 按鈕。 捷徑功能表中會顯示 [複製路徑]/[在總管中顯示/屬性]。

    Screenshot of more input menu.

    • 複製路徑：可複製完整路徑和相對路徑。

    • 在總管中顯示：可跳至連結的儲存體帳戶 ([資料]->[已連結])。

    • 屬性：顯示檔案的基本屬性 ([檔案名稱]/[檔案路徑]/[讀取格式]/[大小]/[已修改])。

      Screenshot of properties.

[輸出資料] 索引標籤

與輸入索引標籤顯示相同的功能。

Screenshot of output data.

比較 Apache Spark 應用程式

有兩種方式可以比較應用程式。 您可以選擇 [比較應用程式] 進行比較，或按一下 [在筆記本中比較] 按鈕，在筆記本中檢視。

依照應用程式比較

按一下 [比較應用程式] 按鈕，並選擇應用程式，以比較效能。 您可以看到這兩個應用程式之間的差異。

Screenshot of compare applications.

Screenshot of details to compare applications.

  1. 使用滑鼠將指標暫留在應用程式上方，然後顯示 [比較應用程式] 圖示。

  2. 按一下比較應用程式圖示，[比較應用程式] 頁面隨即快顯。

  3. 按一下 [選擇應用程式] 按鈕以開啟 [選擇比較應用程式] 頁面。

  4. 選擇比較應用程式時，您必須輸入應用程式 URL，或從週期性清單中選擇。 然後，按一下 [確定] 按鈕。

    Screenshot of choose comparison application.

  5. 比較結果會顯示在 [比較應用程式] 頁面上。

    Screenshot of comparison result.

在筆記本中比較

在 [比較應用程式] 頁面上，按一下 [Compare in notebook] \(在筆記本中比較\) 按鈕以開啟筆記本。 .ipynb 檔案的預設名稱為 Recurrent Application Analytics。

Screenshot of compare in notebook.

在筆記本 Recurrent Application Analytics 檔案中，您可以在設定 Spark 集區和語言之後直接執行。

Screenshot of recurrent application analytics.

下一步

如需監視管線執行的詳細資訊，請參閱使用 Synapse Studio 監視管線執行一文。