Apache Spark 監視概觀
Microsoft Fabric Spark 監視的設計目的是提供 Web UI 型體驗,內建豐富的功能,可監視 Spark 應用程式的進度和狀態、瀏覽過去的 Spark 活動、分析及最佳化效能,以及協助疑難解答失敗。 有多個進入點可供流覽、監視及檢視 Spark 應用程式詳細資料。
監視中樞
監視中樞可作為跨項目流覽 Spark 活動的集中式入口網站。 一目了然,您可以檢視從筆記本、Spark 作業定義和管線觸發的進行中Spark應用程式。 您也可以根據不同的準則來搜尋和篩選 Spark 應用程式,並向下切入以檢視 Spark 應用程式的更多 Spark 執行詳細資料。 從 Fabric 入口網站中,從瀏覽窗格中選取 [監視 ],以開啟 [監視] 中樞。
項目最近的執行
處理特定項目時,項目最近執行 功能可讓您瀏覽項目的目前和最近活動,並取得您或其他人所提交活動的深入解析、狀態、持續時間和其他資訊。
筆記本內容監視
Notebook 關係型監視提供在單一位置內撰寫、監視和偵錯 Spark 作業的功能。 您可以監視 Spark 工作進度、檢視 Spark 執行工作和執行程式,以及存取 Notebook 儲存格層級筆記本內的 Spark 記錄。 Spark 建議程式也內建於 Notebook 中,以提供程式碼和儲存格 Spark 執行並執行錯誤分析的即時建議。
Spark 作業定義內嵌監視
Spark 作業定義內嵌監視功能可讓您即時檢視 Spark 作業定義提交和執行狀態,以及檢視 Spark 作業定義的過去執行和設定。 您可以流覽至 Spark 應用程式詳細資料頁面,以檢視更多詳細資料。
管線 Spark 活動內嵌監視
針對管線 Spark 活動內嵌監視,已將深層連結內建至管線內的 Notebook 和 Spark 作業定義活動。 您可以檢視 Spark 應用程式執行詳細資料、個別的 Notebook 和 Spark 作業定義快照集,以及存取 Spark 記錄以進行疑難解答。 如果 Spark 活動失敗,管線 Spark 活動內也會提供內嵌錯誤訊息。