Verwenden von Scikit-learn in Azure Databricks
Diese Seite enthält Beispiele für die Verwendung des scikit-learn-Pakets zum Trainieren von Machine Learning-Modellen in Azure Databricks. Scikit-learn ist eine der beliebtesten Python-Bibliotheken für das maschinelle Lernen mit einem einzelnen Knoten und ist in Databricks Runtime sowie Databricks Runtime for Machine Learning enthalten. Weitere Informationen zur Version der scikit-learn-Bibliothek, die in Ihrer Clusterruntime enthalten ist, finden Sie in den Versionshinweisen zu Databricks Runtime.
Sie können diese Notebooks importieren und in Ihrem Azure Databricks-Arbeitsbereich ausführen.
Weitere Beispielnotebooks für den schnellen Einstieg in Azure Databricks finden Sie unter Tutorials: Erste Schritte mit KI und Machine Learning.
Grundlegendes Beispiel mit Scikit-learn
Dieses Notebook bietet eine kurze Übersicht über das Machine Learning-Modell-Training auf Azure Databricks. Es verwendet das scikit-learn-Paket, um ein einfaches Klassifizierungsmodell zu trainieren. Außerdem veranschaulicht es die Verwendung von MLflow zum Nachverfolgen des Modellentwicklungsprozesses und Optuna zum Automatisieren der Hyperparameteroptimierung.
Wenn Ihr Arbeitsbereich für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:
scikit-learn Klassifizierungs-Notebook (Unity Catalog)
Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:
Scikit-learn-Klassifizierungsnotebook
End-to-End-Beispiel mit scikit-learn in Azure Databricks
Dieses Notebook veranschaulicht anhand von scikit-learn ein vollständiges End-to-End-Beispiel für das Laden von Daten, das Modelltraining, die verteilte Hyperparameteroptimierung und den Modellrückschluss. Außerdem veranschaulicht es die Modelllebenszyklusverwaltung mithilfe der MLflow-Modellregistrierung, um Ihre Modelle zu protokollieren und zu registrieren.
Wenn Ihr Arbeitsbereich für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks:
Verwenden von scikit-learn mit MLflow-Integration in Databricks (Unity Catalog)
Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, verwenden Sie diese Version des Notebooks: