Databricks 作业排队和并发设置

本文包含有关在 Databricks 作业中配置高级设置的说明和建议。

启用作业运行队列

注意

2024 年 4 月 15 日之后通过 UI 创建的作业会默认启用排队。

为了防止因并发限制而跳过作业的运行，可以对作业启用排队。 启用排队后，如果某个作业运行的资源不可用，该运行将最长排队 48 小时。 当容量可用时，作业运行将取消排队并运行。 排队的运行显示在作业的运行列表和最近的作业运行列表中。

达到以下限制之一时，运行将排队：

• 工作区中的最大并发活动运行数。
• 工作区中的最大并发 Run Job 任务运行数。
• 作业的最大并发运行数。

排队是队列仅针对该作业运行的一个作业级属性。

若要启用或禁用排队，请单击“高级设置”，然后单击“作业详细信息”侧面板中的“队列”切换按钮。

配置最大并发运行数

默认情况下，所有新作业的最大并发运行数为 1。

单击“高级设置”下的“编辑并发运行”，设置此作业的最大并行运行数。

尝试启动新的运行时，如果作业已达到其最大活动运行数，Azure Databricks 会跳过该运行。

将此值设置为高于 1 的值，从而允许同一作业的多个并发运行。 这对于下列情形将非常实用：例如，假设你按较为频繁的计划触发作业并且希望使连续的运行重叠，或者触发多个有不同输入参数的运行。