并行化 Hyperopt 超参数优化

注意

不再维护 Hyperopt 的开源版本。

Hyperopt 将不再预安装在 Databricks Runtime ML 17.0 及更高版本上。 Azure Databricks 建议改用 Optuna,以便获得类似的体验,并访问更最新的超参数优化算法。

此笔记本展示如何使用 Hyperopt 并行优化超参数计算。 它使用 SparkTrials 类在群集辅助角色之间自动分配计算。 它还说明了 Hyperopt 运行的自动化 MLflow 跟踪,以便可以保存结果供以后使用。

使用自动化 MLflow 跟踪笔记本并行优化超参数

获取笔记本

在笔记本的最后一个单元格中执行操作后,MLflow UI 应显示:

Hyperopt MLflow 演示