Apache Spark 應用程式詳細資料監視
透過 Microsoft Fabric，您可以使用 Apache Spark 在工作區中執行筆記本、作業和其他類型的應用程式。 本文介紹如何監控 Apache Spark 應用程式，讓您可以專注於作業的最新執行狀態、問題和進度。
檢視 Apache Spark 應用程式
您可以從 Spark 作業定義檢視所有 Apache Spark 應用程式，或筆記本項目操作功能表會顯示最近的執行選項 ->最近執行。
您可以在應用程式清單中選取您想要檢視的應用程式名稱，在應用程式詳細資料頁面中，您可以檢視應用程式詳細資料。
監視 Apache Spark 應用程式狀態
開啟筆記本或 Spark 作業定義的最近執行 頁面，您可以檢視 Apache 應用程式的狀態。
- 成功
- 佇列
- 已停止
- 已取消
- 失敗
工作
從 Spark 作業定義或筆記本項目操作功能表開啟 Apache Spark 應用程式作業，會顯示最近執行選項 ->最近執行 -> 在最近的執行頁面中選取作業。
在 Apache Spark 應用程式監視詳細資料頁面中，作業執行清單會顯示在作業 索引標籤中，您可以在這裡檢視每個作業的詳細資料，包括作業標識碼、描述、狀態、階段、工作、持續時間、處理、資料讀取、寫入的資料和代碼段。
- 按兩下作業標識符 即可展開/折迭作業。
- 按兩下作業描述，即可跳至Spark UI中的作業或階段頁面。
- 按兩下作業代碼段，您可以檢查並複製與此作業相關的程式碼。
資源
[資源] 索引標籤底下的執行程式使用圖表，會在Spark執行期間，以近乎即時的方式可視化目前Spark應用程式的Spark執行程式配置和使用率。 您可以參考：監視 Apache Spark 應用程式資源使用率。
摘要面板
在Apache Spark 應用程式監視 頁面中，按兩下 屬性按鈕以開啟/折疊摘要面板。 您可以在詳細資料 中檢視此應用程式的詳細資料。
- 此 Spark 應用程式的狀態。
- 此 Spark 應用程式的識別碼。
- 總期間
- 此 Spark 應用程式的執行持續時間。
- 此 Spark 應用程式的佇列持續時間。
- Livy ID
- 此 Spark 應用程式的提交者。
- 提交此 Spark 應用程式的時間。
- 執行程式數目。
記錄
針對記錄 索引標籤，您可以檢視 Livy、Prelaunch、Driver 記錄的完整記錄，並在左面板中選取不同的選項。 並且可以透過搜尋關鍵字直接擷取所需的日誌資訊，並透過過濾日誌狀態查看日誌。 按兩下下載記錄檔 將記錄資訊下載到本機。
有時候沒有可用的記錄，例如作業的狀態已排入佇列，叢集建立失敗。
只有在應用程式提交失敗時，才能使用即時記錄，而且也會提供驅動程序記錄。
資料
針對 資料 索引標籤，您可以在剪貼簿上複製資料清單、下載資料清單和單一資料，以及檢查每個資料的屬性。
- 左面板可以展開或折疊。
- 輸入和輸出檔案的名稱、讀取格式、大小、來源和路徑將會在此清單中顯示。
- 輸入和輸出中的檔案可以下載、複製路徑和檢視屬性。
專案快照集
[ 專案快照集] 索引 標籤可讓您瀏覽和檢視與 Apache Spark 應用程式相關聯的專案，包括筆記本、Spark 作業定義和/或管線。 專案快照集頁面會在筆記本執行時顯示程式代碼和參數值的快照集。 它也會在提交 Spark 作業定義時顯示所有設定和參數的快照集。 如果 Apache Spark 應用程式與管線相關聯，相關項目頁面也會顯示對應的管線和 Spark 活動。
在 [專案快照集] 畫面中，您可以：
- 流覽並流覽階層式樹狀結構中的相關項目。
- 按兩下每個項目的更多動作清單 省略號圖示，以採取不同的動作。
- 按兩下快照集項目以檢視其內容。
- 檢視階層連結，以查看從選取的項目到根目錄的路徑。
注意
Notebook 快照集功能目前不支援處於執行中狀態或高並行 Spark 會話的筆記本。
診斷
診斷面板為使用者提供即時建議和錯誤分析，這些建議是由 Spark Advisor 透過使用者程式碼的分析所產生。 使用內建模式時，Apache Spark Advisor 可協助使用者避免常見的錯誤，並分析失敗以找出其根本原因。
相關內容
檢視 Apache Spark 應用程式詳細資料之後的下一個步驟是檢視 Notebook 儲存格下方的 Spark 作業進度。 您可以參考：