配置作业参数
本文介绍作业参数功能以及如何使用 Databricks 工作区 UI 配置作业参数。 还可以将作业参数添加到用于 REST API、CLI 和 DAB 的 JSON 和 YAML 定义。 请参阅作业 API、什么是 Databricks CLI?以及什么是 Databricks 资产捆绑包?
什么是作业参数?
作业参数是键值对,让你能够使用默认静态或动态值将作业参数化。 可以选择在触发新运行时替代作业中配置的参数。 请参阅使用不同参数运行作业。
作业参数键只能包含 _ - .
或字母数字字符。 参数值设置为字符串或动态值引用。 请参阅什么是动态值引用?。
注意
可以将任何有效的 JSON 作为参数值。 例如,For each
任务类型可以分析列表,如下所示:
[1, 2, 3]
['a', 'b', 'c']
添加或编辑作业参数
使用“作业参数”对话框可以添加新参数、编辑现有参数键和值或删除参数。
使用工作区 UI 编辑参数,请按照以下步骤选择一个现有的作业:
- 单击边栏中 “工作流”。
- 在“名称”列中单击作业名称。
- 在“作业详细信息”边栏中,单击“编辑参数”。 此时将出现“作业参数”对话框。
- 使用“键”和“值”字段可添加或编辑参数。
- 单击 可移除参数。
- 单击“保存”应用所做的更改。
注意
单击 { } 可列出可用的动态值引用。 从列表中选择一个选项,以将其插入到“值”字段中。
作业参数下推
作业参数自动作为键值参数向下推送到接受键值参数的所有任务,包括以下任务类型:
- 笔记本
- Python wheel(仅当配置了关键字参数时)
- SQL 查询、旧仪表板或文件
- 运行作业
传递给任务的作业参数以及配置的任务参数都可在 UI 中的任务配置中查看。
重要
作业参数优先于任务参数。 如果作业参数和任务参数具有相同的键,则作业参数将替代任务参数。
对作业参数的动态值引用
接受动态值引用的所有任务都可以访问作业参数。
使用动态值引用 {{job.parameters.<name>}}
,将 <name>
替换为拥有标识参数的 key
。
使用不同参数运行作业
使用不同的参数运行作业时,可以替代配置的作业参数或添加新的参数。 请参阅使用不同参数运行作业。
修复作业运行时也可以替代作业参数。 请参阅重新运行失败的和跳过的任务。