Hyperopt ハイパーパラメーターのチューニングを並列化する
Note
Hyperopt のオープンソース バージョンはメンテナンスされなくなりました。
Hyperopt は、次のメジャー DBR ML バージョンで削除されます。 Azure Databricks では、 Optuna を使用して、同様のエクスペリエンスを実現し、より最新のハイパーパラメーター 調整アルゴリズムにアクセスすることをお勧めします。
このノートブックでは、Hyperopt を使用してハイパーパラメーター チューニングの計算を並列化する方法を示します。 ここでは、SparkTrials クラスを使用して、クラスター ワーカー全体に計算を自動的に分散します。 また、後で結果を保存できるよう、Hyperopt 実行の自動 MLflow 追跡についても示します。
自動 MLflow 追跡を使用したハイパーパラメーター チューニングの並列化に関するノートブック
ノートブックの最後のセルでアクションを実行すると、MLflow UI が表示されます。
