Trenowanie modeli za pomocą biblioteki scikit-learn w usłudze Microsoft Fabric
W tym artykule opisano sposób trenowania i śledzenia iteracji modelu scikit-learn. Scikit-learn to popularna platforma uczenia maszynowego typu open source często używana do uczenia nadzorowanego i nienadzorowanego. Platforma udostępnia narzędzia do dopasowywania modeli, przetwarzania wstępnego danych, wyboru modelu, oceny modelu i nie tylko.
Wymagania wstępne
Zainstaluj bibliotekę scikit-learn w notesie. Możesz zainstalować lub uaktualnić wersję biblioteki scikit-learn w środowisku przy użyciu następującego polecenia:
pip install scikit-learn
Konfigurowanie eksperymentu uczenia maszynowego
Eksperyment uczenia maszynowego można utworzyć przy użyciu interfejsu API MLFLow. Funkcja MLflow set_experiment()
tworzy nowy eksperyment uczenia maszynowego o nazwie sample-sklearn, jeśli jeszcze nie istnieje.
Uruchom następujący kod w notesie i utwórz eksperyment:
import mlflow
mlflow.set_experiment("sample-sklearn")
Trenowanie modelu scikit-learn
Po skonfigurowaniu eksperymentu utworzysz przykładowy zestaw danych i model regresji logistycznej. Poniższy kod uruchamia przebieg platformy MLflow i śledzi metryki, parametry i końcowy model regresji logistycznej. Po wygenerowaniu końcowego modelu można zapisać wynikowy model, aby uzyskać więcej śledzenia.
Uruchom następujący kod w notesie i utwórz przykładowy zestaw danych i model regresji logistycznej:
import mlflow.sklearn
import numpy as np
from sklearn.linear_model import LogisticRegression
from mlflow.models.signature import infer_signature
with mlflow.start_run() as run:
lr = LogisticRegression()
X = np.array([-2, -1, 0, 1, 2, 1]).reshape(-1, 1)
y = np.array([0, 0, 1, 1, 1, 0])
lr.fit(X, y)
score = lr.score(X, y)
signature = infer_signature(X, y)
print("log_metric.")
mlflow.log_metric("score", score)
print("log_params.")
mlflow.log_param("alpha", "alpha")
print("log_model.")
mlflow.sklearn.log_model(lr, "sklearn-model", signature=signature)
print("Model saved in run_id=%s" % run.info.run_id)
print("register_model.")
mlflow.register_model(
"runs:/{}/sklearn-model".format(run.info.run_id), "sample-sklearn"
)
print("All done")
Ładowanie i ocenianie modelu w przykładowym zestawie danych
Po zapisaniu modelu można załadować go do wnioskowania.
Uruchom następujący kod w notesie i załaduj model, a następnie uruchom wnioskowanie w przykładowym zestawie danych:
# Inference with loading the logged model
from synapse.ml.predict import MLflowTransformer
spark.conf.set("spark.synapse.ml.predict.enabled", "true")
model = MLflowTransformer(
inputCols=["x"],
outputCol="prediction",
modelName="sample-sklearn",
modelVersion=1,
)
test_spark = spark.createDataFrame(
data=np.array([-2, -1, 0, 1, 2, 1]).reshape(-1, 1).tolist(), schema=["x"]
)
batch_predictions = model.transform(test_spark)
batch_predictions.show()
Powiązana zawartość
- Eksplorowanie modeli uczenia maszynowego
- Tworzenie eksperymentów uczenia maszynowego