適用於 Microsoft Fabric 的 Apache Spark 中的作業佇列
適用於:✅Microsoft Fabric 中的 資料工程師 和 資料科學
當您已達到 Fabric 容量的 Spark 計算限制時,Microsoft Fabric 支援背景工作佇列。 作業佇列系統會針對新增至佇列的作業提供自動重試,直到作業到達佇列到期為止。 當使用者在 Azure 上建立 Microsoft Fabric 容量時,他們會根據分析工作負載的大小來選擇容量大小。 購買容量之後,系統管理員可以在 Microsoft Fabric 中的容量內建立工作區。 在這些工作區內執行的Spark作業最多可以使用為指定容量配置的最大核心,一旦達到上限,作業就會受到節流或排入佇列。
深入瞭解 Microsoft Fabric 中的 Spark 並行限制
管線或透過排程器觸發的 Notebook 作業,以及 Spark 作業定義也支援工作佇列。 互動式筆記本作業和透過筆記本公用 API 觸發的筆記本作業不支援佇列。
佇列會以 First-In-Out (FIFO) 方式運作,其中作業會根據其提交時間新增至佇列,並在釋放容量時持續重試並開始執行。
注意
當網狀架構容量處於節流狀態時,不支援Spark作業的佇列。 提交的所有新作業都將遭到拒絕。
將作業新增至佇列之後,其狀態會更新為監視 中樞的未啟動。 從佇列中挑選筆記本和 Spark 作業定義並開始執行時,其狀態會從未啟動更新為進行中。
注意
佇列到期時間為 24 小時,從他們進入佇列時起的所有作業。 達到到期時間之後,必須重新提交作業。
佇列大小
Fabric Spark 會根據附加至工作區的容量 SKU 大小強制執行佇列大小,並提供節流和佇列機制,讓使用者可以根據購買的網狀架構容量 SKU 提交作業。
下一節會根據容量 SKU 列出 Spark 工作負載的各種佇列大小,Microsoft Fabric:
Fabric 容量 SKU | 對等Power BI SKU | 佇列限制 |
---|---|---|
F2 | - | 4 |
F4 | - | 4 |
F8 | - | 8 |
F16 | - | 16 |
F32 | - | 32 |
F64 | P1 | 64 |
F128 | P2 | 128 |
F256 | P3 | 256 |
F512 | P4 | 512 |
F1024 | - | 1024 |
F2048 | - | 2048 |
試用版容量 | P1 | NA |
注意
網狀架構試用版容量不支援佇列。 使用者必須切換至付費網狀架構 F 或 P SKU,才能使用 Spark 作業的佇列。
一旦達到網狀架構容量的佇列限制上限,提交的新作業將會受到節流,並出現錯誤訊息TooManyRequestsForCapacity 無法執行此 Spark 作業,因為您已達到 Spark 計算或 API 速率限制。若要執行此 Spark 作業,請透過監視中樞取消作用中的 Spark 作業、選擇較大的容量 SKU,或稍後再試一次。HTTP 狀態代碼:430 {深入瞭解} HTTP 狀態代碼:430。
相關內容
- 瞭解 Microsoft Fabric 中 Spark 的計費和使用率。
- 瞭解適用於網狀架構資料工程和資料科學體驗的 Spark 計算。