Udostępnij za pośrednictwem

Trenowanie modeli uczenia maszynowego platformy Spark w usłudze Databricks Connect za pomocą polecenia pyspark.ml.connect

  • Artykuł

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

W tym artykule przedstawiono przykład użycia modułu do wykonywania trenowania rozproszonego pyspark.ml.connect w celu trenowania modeli uczenia maszynowego platformy Spark i uruchamiania wnioskowania modelu w usłudze Databricks Connect.

Co to jest usługa pyspark.ml.connect?

Platforma Spark 3.5 wprowadza, pyspark.ml.connect która jest przeznaczona do obsługi trybu łączenia platformy Spark i usługi Databricks Connect. Dowiedz się więcej o usłudze Databricks Connect.

Moduł pyspark.ml.connect składa się z typowych algorytmów uczenia i narzędzi, w tym klasyfikacji, przekształcania funkcji, potoków uczenia maszynowego i krzyżowego sprawdzania poprawności. Ten moduł zawiera podobne interfejsy do starszego pyspark.ml modułu, ale pyspark.ml.connect moduł zawiera obecnie tylko podzbiór algorytmów w programie pyspark.ml. Obsługiwane algorytmy są wymienione poniżej:

  • Algorytm klasyfikacji: pyspark.ml.connect.classification.LogisticRegression
  • Transformatory cech: pyspark.ml.connect.feature.MaxAbsScaler i pyspark.ml.connect.feature.StandardScaler
  • Ewaluator: pyspark.ml.connect.RegressionEvaluator, pyspark.ml.connect.BinaryClassificationEvaluator i MulticlassClassificationEvaluator
  • Rurociąg: pyspark.ml.connect.pipeline.Pipeline
  • Dostrajanie modelu: pyspark.ml.connect.tuning.CrossValidator

Wymagania

Przykładowy notes

W poniższym notesie pokazano, jak używać rozproszonego uczenia maszynowego w usłudze Databricks Connect:

Rozproszone uczenie maszynowe w usłudze Databricks Connect

Pobierz notes

Aby uzyskać informacje referencyjne dotyczące interfejsów API w usłudze pyspark.ml.connect, usługa Databricks zaleca dokumentację interfejsu API platformy Apache Spark