共用方式為


適用於 Microsoft Fabric 的 Apache Spark 中的作業佇列

適用於:✅Microsoft Fabric 中的 資料工程師 和 資料科學

當您已達到 Fabric 容量的 Spark 計算限制時,Microsoft Fabric 支援背景工作佇列。 作業佇列系統會針對新增至佇列的作業提供自動重試,直到作業到達佇列到期為止。 當使用者在 Azure 上建立 Microsoft Fabric 容量時,他們會根據分析工作負載的大小來選擇容量大小。 購買容量之後,系統管理員可以在 Microsoft Fabric 中的容量內建立工作區。 在這些工作區內執行的Spark作業最多可以使用為指定容量配置的最大核心,一旦達到上限,作業就會受到節流或排入佇列。

深入瞭解 Microsoft Fabric 中的 Spark 並行限制

管線或透過排程器觸發的 Notebook 作業,以及 Spark 作業定義也支援工作佇列。 互動式筆記本作業和透過筆記本公用 API 觸發的筆記本作業不支援佇列。

佇列會以 First-In-Out (FIFO) 方式運作,其中作業會根據其提交時間新增至佇列,並在釋放容量時持續重試並開始執行。

注意

當網狀架構容量處於節流狀態時,不支援Spark作業的佇列。 提交的所有新作業都將遭到拒絕。

Microsoft Fabric 中作業佇列程式的動畫圖例。

將作業新增至佇列之後,其狀態會更新為監視 中樞的未啟動。 從佇列中挑選筆記本和 Spark 作業定義並開始執行時,其狀態會從未啟動更新為進行中。

注意

佇列到期時間為 24 小時,從他們進入佇列時起的所有作業。 達到到期時間之後,必須重新提交作業。

佇列大小

Fabric Spark 會根據附加至工作區的容量 SKU 大小強制執行佇列大小,並提供節流和佇列機制,讓使用者可以根據購買的網狀架構容量 SKU 提交作業。

下一節會根據容量 SKU 列出 Spark 工作負載的各種佇列大小,Microsoft Fabric:

Fabric 容量 SKU 對等Power BI SKU 佇列限制
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
試用版容量 P1 NA

注意

網狀架構試用版容量不支援佇列。 使用者必須切換至付費網狀架構 F 或 P SKU,才能使用 Spark 作業的佇列。

一旦達到網狀架構容量的佇列限制上限,提交的新作業將會受到節流,並出現錯誤訊息TooManyRequestsForCapacity 無法執行此 Spark 作業,因為您已達到 Spark 計算或 API 速率限制。若要執行此 Spark 作業,請透過監視中樞取消作用中的 Spark 作業、選擇較大的容量 SKU,或稍後再試一次。HTTP 狀態代碼:430 {深入瞭解} HTTP 狀態代碼:430