Škálování zkušebních verzí Hyperoptu

Dokončeno

Jednou z výhod použití Apache Sparku v Azure Databricks je schopnost distribuovat úlohy zpracování napříč několika uzly clusteru. Pokud používáte knihovnu strojového učení s podporou Sparku, jako je MLlib, můžete rozšířit kapacitu trénování strojového učení, aby se zkrátil celkový čas potřebný k trénování. Při použití Hyperoptu s distribuovanou trénovací knihovnou, jako je MLlib, se práce automaticky škáluje napříč dostupnými pracovními uzly v clusteru.

Hyperopt podporuje horizontální navýšení kapacity zkušebních verzí ladění hyperparametrů pro knihovny, které nejsou distribuovány pomocí třídy SparkTrials místo běžné třídy Trials . Tento přístup umožňuje využít paralelismus Sparku se škálováním na více instancí k distribuci ladění hyperparametrů napříč několika uzly, i když používáte knihovnu určenou ke zpracování na jednom počítači, jako je Scikit-Learn.

Následující příklad kódu ukazuje, jak používat SparkTrials třída.

from hyperopt import SparkTrials

  spark_trials = SparkTrials()
  with mlflow.start_run():
    argmin = fmin(
      fn=objective,
      space=search_space,
      algo=algo,
      max_evals=100,
      trials=spark_trials)
  
  print("Best param values: ", argmin)

Tip

Další informace o použití třídy SparkTrials najdete v dokumentaci k Azure Databricks třída SparkTrials.