创建和管理计算策略
本文介绍如何在工作区中创建和管理策略。 若要了解如何编写策略定义,请参阅计算策略参考。
注意
策略需要高级计划。
什么是计算策略?
策略是一项工具,可供工作区管理员用来根据一组策略规则限制用户或组的计算创建权限。
策略具有下列优点:
- 限制用户使用指定的设置创建群集。
- 限制用户创建特定数量的群集。
- 简化用户界面,支持更多的用户创建自己的群集(方法是修正和隐藏某些值)。
- 通过限制每个群集的最大成本来控制成本(方法是对其值会影响每小时价格的属性设置限制)。
- 强制实施群集范围的库安装。
创建策略
这些是创建策略的基本说明。 若要了解如何定义策略,请参阅计算策略参考。
- 单击侧栏中的“计算”。
- 单击“策略”选项卡。
- 单击“创建策略”。
- 为策略命名。 策略名称不区分大小写。
- (可选)从“系列”下拉列表中选择策略系列。 这确定了要从中生成策略的模板。
- 输入策略的说明。 这可以帮助其他人了解该策略的用途。
- 在“定义”选项卡中,输入策略定义。
- 在“库”选项卡中,添加想要在计算上安装策略的任何计算范围的库。 请参阅《将库添加到策略》。
- 在“权限”选项卡中,为策略分配权限,并且可以选择设置用户使用该策略能够创建的最大资源数。
- 单击 “创建” 。
使用策略系列
创建策略时,可以选择使用策略系列。 策略系列是 Azure Databricks 提供的带有预填充规则的策略模板,旨在解决常见的计算用例问题。
使用某个策略系列时,策略的规则将从该策略系列继承。 选择策略系列后,可以按原样创建策略,或者选择添加规则或替代给定的规则。 有关策略系列的详细信息,请参阅默认策略和策略系列。
将库添加到策略
可以将库添加到策略,以便库自动安装在计算资源上。 最多可以向策略添加 500 个库。
注意
你可能以前已使用 init 脚本添加了计算范围的库。 Databricks 建议使用计算策略而不是 init 脚本来安装库。
要向策略添加库,请执行以下操作:
在“创建策略”页底部,单击“库”选项卡。
单击“添加库”。
选择其中一个“库来源”选项,然后按照如下概述的说明操作:
库源 说明 工作区 选择工作区文件,或者上传 Whl、压缩的 wheelhouse、JAR、ZIP、tar 或 requirements.txt 文件。 请参阅从工作区文件安装库 卷 从卷中选择 Whl、JAR 或 requirements.txt 文件。 请参阅从卷安装库。 文件路径/ADLS 选择库类型,并向库对象提供完整 URI(例如: abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
)。 请参阅从对象存储安装库。PyPI 输入 PyPI 包名称。 请参阅 PyPI 包。 Maven 指定 Maven 坐标。 请参阅 Maven 或 Spark 包。 CRAN 输入包的名称。 请参阅 CRAN 包。 DBFS(不推荐) 将 JAR 或 Whl 文件加载到 DBFS 根目录。 不推荐使用它,因为存储在 DBFS 中的文件可由任何工作区用户修改。 单击“添加” 。
将库添加到策略的效果
如果将库添加到策略,则:
- 用户无法在使用此策略的计算上安装或卸载计算范围的库。
- 下次重启计算时,将会移除通过 UI、REST API 或 CLI 在现有计算上配置的库。
- 在作业计算资源中使用此策略的任务的依赖项库已禁用。
策略权限
默认情况下,工作区管理员拥有所有策略的权限。 非管理员用户必须被授予策略权限才能访问该策略。
如果用户拥有不受限制的群集创建权限,那么他们也将有权访问“无限制”策略。 这使他们能够创建可充分配置的计算资源。
如果用户无权访问任何策略,则不会在其 UI 中显示策略下拉列表。
限制每个用户的计算资源数
可以使用策略权限设置每个用户的最大计算资源数。 这决定了用户可以使用该策略创建的资源数。 如果用户超出限制,则操作将会失败。
若要限制用户可以使用策略创建的资源数量,请在策略 UI 的“权限”选项卡下的“每个用户的最大计算资源数”设置中输入一个值。
注意
Azure Databricks 不会主动终止资源以维持限制。 如果用户使用策略运行了三个计算资源,而工作区管理员将限制降低为一个,则这三个资源将继续运行。 必须手动终止多出的资源才能符合限制。
管理策略
创建策略后,可以编辑、克隆和删除该策略。
还可以通过查看使用该策略的计算资源来监视策略的采用情况。 在“策略”页面中,单击要查看的策略。 然后单击“计算”或“作业”选项卡来查看使用该策略的资源的列表。
编辑策略
可能需要编辑策略以更新其权限或定义。 若要编辑策略,请从“策略”页面选择该策略,然后单击“编辑”。 单击“编辑”后,可以单击“权限”选项卡来更新策略的权限。 然后还可以更新策略的定义。
更新策略的定义后,使用该策略创建的计算资源不会自动使用新的策略定义进行更新。 可以选择使用策略合规性强制措施来更新这些计算资源的全部或一部分。 请参阅强制实施策略合规性。
克隆策略
还可以使用克隆功能从现有策略创建新策略。 打开要克隆的策略,然后单击“克隆”按钮。 接着更改要修改的字段的任何值,然后单击“创建”。
删除策略
从“策略”页面选择该策略,然后单击“删除”。 当系统询问是否确定要删除策略时,请再次单击“删除”。
受已删除策略管理的任何计算仍然可以运行,但无法编辑,除非用户具有不受限制的群集创建权限。
强制实施策略合规性
编辑策略后,使用该策略创建的计算资源不会自动更新来遵循新的策略规则。 若要查看由该策略治理的计算资源的列表,请单击 UI 中的策略,然后单击“计算”选项卡以查看关联的通用计算,或单击“作业”选项卡以查看由该策略治理的计算上运行的作业的列表。
这些列表还会告诉你是否有任何计算资源不符合当前的策略定义。
若要更新计算资源以使之符合策略,请执行以下操作:
- 在“策略”页面中,单击已更新的策略。
- 单击“计算”或“作业”选项卡来查看使用该策略的资源或作业的列表。 “合规性”列会告诉你哪些资源符合当前的策略定义。
- 单击“全部修复”以更新列表中所有不合规的计算资源。 还可以通过单击资源的行中的“修复”按钮来单独更新计算资源。
- (可选)如果想要在当前正在运行的计算上强制执行该策略,请选中“强制运行群集”复选框。 这会立即重启正在运行的计算资源。
- 单击“强制”进行更新。 强制操作完成后,你会收到所做更改的摘要。
- 单击“Done”(完成) 。
此外,不合规的通用计算资源在其计算详细信息 UI 中会包含“不合规”标签。 对计算资源具有“可管理”权限的用户可以通过单击“更多”并单击“修复合规性”来强制执行此页面中的合规性。