為 Fabric 筆記本設定高並行模式
在 Microsoft Fabric 中執行筆記本時,會啟動 Apache Spark 工作階段,其用來執行作為筆記本資料格執行的一部分提交的查詢。 啟用高並行模式後,不需要在每次執行筆記本時啟動新的 Spark 工作階段。
如果您已經在執行高並行工作階段,則可以將筆記本附加至該高並行工作階段,以便立即取得 Spark 工作階段來執行查詢,並達到更高的工作階段利用率。
注意
基於高並行模式的工作階段共用一律限於在單一使用者邊界內。 要共用單一 Spark 工作階段,筆記本必須具有匹配的 Spark 組態,並應該屬於同一個工作區,以及共用相同的預設 Lakehouse 和程式庫。
工作階段共用條件
若要讓筆記本共用單一 Spark 工作階段,則筆記本必須:
- 由同一使用者執行。
- 擁有相同的預設 Lakehouse。 不具有預設 Lakehouse 的筆記本可以與其他沒有預設 Lakehouse 的筆記本共用工作階段。
- 具有相同的 Spark 計算組態。
- 擁有相同的程式庫套件。 可以將不同的內嵌程式庫安裝當做筆記本儲存格的一部分,並且仍然與具有不同程式庫相依性的筆記本共用工作階段。
設定高並行模式
根據預設,所有 Fabric 工作區均啟用了高並行模式。 請按照下列步驟來設定高並行功能:
在 Fabric 工作區中按一下 [工作區設定] 選項
流覽至 [資料工程師/科學] 區段> Spark 設定>高並行
在 [高並行存取] 區段中,為筆記本啟用它。 您可以選擇 從這個窗格啟用 或 停用 設定。
啟用高並行選項可讓使用者在其筆記本中啟動高並行工作階段,或連結至現有的高並行工作階段。
停用高並行模式會隱藏設定非使用狀態時段的區段,也會隱藏從筆記本功能表啟動新的高並行工作階段的選項。
在高並行工作階段中執行筆記本
開啟 Fabric 工作區
建立筆記本或開啟現有的筆記本
流覽至功能表功能區中的 [執行] 索引標籤,選取已設定 [標準] 為預設選項的 [工作階段類型] 下拉式清單。
選取 [新增高並行工作階段]。
啟動高並行工作階段之後,您現在可以在高並行工作階段中新增最多 5 個筆記本。
建立新的筆記本,並流覽至 上述步驟中所述的 [執行 ] 功能表,在下拉功能表中,您現在會看到新建立的高並行會話列出。
選取現有的高並行工作階段會將第二個筆記本連結至該工作階段。
連結筆記本之後,您可以立即開始執行筆記本步驟。
高並行會話狀態也會顯示在任何時間點連結至指定工作階段的筆記本數目。
在任何時候,如果您覺得連結至高並行工作階段的筆記本需要更專用的計算,可以透過選取 [執行] 功能表索引標籤中中斷連結筆記本與高並行工作階段的選項,將筆記本切換至標準工作階段。
您可以瀏覽至 [狀態] 列來檢視工作階段狀態、類型和工作階段 ID。選取 [工作階段 ID] 可了解在此高並行工作階段中執行的作業,而在 [監視詳細資料] 頁面中可以檢視 Spark 工作階段的記錄。
監視和偵錯在高並行工作階段中執行的筆記本
在共用工作階段中執行多個筆記本時,監視和偵錯通常是一項非常重要的工作。 對於 Fabric 中的高並行模式,提供了記錄分離,讓使用者能夠追蹤來自不同筆記本的 Spark 事件所發出的記錄。
當工作階段處於進行中或已完成狀態時,您可以流覽至 [執行] 功能表並選取 [所有執行] 選項,以檢視工作階段狀態
此動作會開啟筆記本的執行歷程記錄,其中顯示目前作用中的工作階段和歷史 Spark 工作階段的清單
用戶可以選取工作階段來存取監視詳細資料檢視,其中顯示了已在工作階段中執行的所有 Spark 作業的清單。
在高並行工作階段情況下,使用者可以使用 [相關筆記本] 索引標籤來識別不同的筆記本中的作業及其相關聯的記錄。該索引標籤會顯示執行該作業所在的筆記本。
相關內容
本文件簡單介紹了在筆記本中透過高並行模式進行工作階段共用。 請繼續閱讀下一篇文章,了解如何使用 Lakehouse 和 Notebooks 建立並開始體驗資料工程:
- 若要開始使用 Lakehouse,請參閱<建立 Lakehouse>。
- 若要開始使用 Notebooks,請參閱<如何使用筆記本>