Równoległe dostrajanie hiperparametrów funkcji Hyperopt
Uwaga
Wersja biblioteki Hyperopt typu open source nie jest już utrzymywana.
Funkcja Hyperopt zostanie usunięta w następnej głównej wersji DBR ML. Usługa Azure Databricks zaleca korzystanie z rozwiązania Optuna w celu uzyskania podobnego środowiska i dostępu do bardziej aktualnych algorytmów dostrajania hiperparametrów.
W tym notesie pokazano, jak używać funkcji Hyperopt do równoległości obliczeń dostrajania hiperparametrów. Używa SparkTrials klasy do automatycznego dystrybuowania obliczeń między procesami roboczymi klastra. Ilustruje również zautomatyzowane śledzenie MLflow przebiegów funkcji Hyperopt, dzięki czemu można zapisać wyniki na później.
Równoległe dostrajanie hiperparametrów za pomocą zautomatyzowanego notesu śledzenia MLflow
Po wykonaniu akcji w ostatniej komórce w notesie powinien zostać wyświetlony interfejs użytkownika platformy MLflow:
