Databricks 工作佇列和並行設定
本文包含在 Databricks 工作中設定進階設定的指示和建議。
啟用工作執行的佇列
注意
預設會針對在 2024 年 4 月 15 日之後透過 UI 建立的工作啟用佇列。
若要防止因為並行限制而略過工作的執行,您可以啟用工作的佇列。 啟用佇列時,如果工作執行無法使用資源,則執行會排入佇列最多 48 小時。 當容量可用時,工作執行會取消佇列並執行。 佇列執行顯示在作業 的
達到下列其中一個限制時,執行會排入佇列:
- 工作區中的並行作用中執行上限。
- 工作區中的並行
Run Job
任務執行上限。 - 工作的並行執行上限。
佇列是工作層級屬性,只會將該工作的執行排入佇列。
若要啟用或停用佇列,請按一下 [進階設定],然後按一下 [工作詳細資料] 側面板中的 [佇列] 切換按鈕。
設定並行執行上限
根據預設,所有新工作的並行執行上限為 1。
按一下 [編輯並行執行],在 [進階設定] 下,設定此作業的最大平行執行次數。
如果工作在嘗試啟動新執行時已達到作用中執行次數上限,Azure Databricks 會略過該執行。
將此值設定為高於 1,以允許相同作業的多個並行執行。 例如,如果您以頻繁的排程觸發作業,而且想要讓連續執行重疊,或觸發與其輸入參數不同的多個執行,這非常有用。