Jaa

Mallin luominen SynapseML:n avulla

  • Artikkeli

Tässä artikkelissa kerrotaan, miten voit luoda koneoppimismallin SynapseML:n avulla, sekä näytetään, miten SynapseML voi yksinkertaistaa monimutkaisia koneoppimistehtäviä. SynapseML:n avulla voit luoda pienen koneoppimisen harjoitusputken, joka sisältää käyttöönottovaiheen ja LightGBM-regressiovaiheen. Jakso ennustaa luokituksia kirjojen arvostelujen tietojoukon tarkistustekstin perusteella. Näet myös, miten SynapseML voi yksinkertaistaa valmiiden mallien käyttöä koneoppimisongelmien ratkaisemiseksi.

Edellytykset

Valmistele resurssit

Luo työkalut ja resurssit, joita tarvitset mallin ja putken luomiseen.

  1. Luo uusi muistikirja.
  2. Liitä muistikirjasi Lakehouseen. Jos haluat lisätä aiemmin luodun lakehouse-kohdan tai luoda uuden, laajenna Lakehouses Explorerin alla vasemmalla ja valitse sitten Lisää.
  3. Hanki Azure AI Services -avain noudattamalla ohjeita kohdassa Pikaopas: usean palvelun resurssin luominen Azure AI -palveluille.
  4. Luo Azure Key Vault -esiintymä ja lisää Azure AI Services -avain avainsäilön salaisuutena.
  5. Kirjoita Key Vaultin nimi ja salasana muistiin. Tarvitset näitä tietoja, jotta voit suorittaa yksivaiheisen muunnoksen myöhemmin tässä artikkelissa.

Ympäristön määrittäminen

Tuo muistikirjassa SynapseML-kirjastot ja alusta Spark-istuntosi.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

Tietojoukon lataaminen

Lataa tietojoukkosi ja jaa se juna- ja testijoukkoihin.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

Luo koulutusputki

Luo jakso, joka sisältää -kirjaston synapse.ml.featurize.text tiedot TextFeaturizer ja johtaa luokituksen -funktion LightGBMRegressor avulla.

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating", dataTransferMode="bulk")
    ]
).fit(train)

Testitietojen tulosten ennustaminen

transform Kutsu mallin funktiota, joka ennustaa ja näyttää testitietojen tuloksen tietokehyksenä.

display(model.transform(test))

Tietojen muuntaminen yhdessä vaiheessa AzureN tekoälypalveluiden avulla

Vaihtoehtoisesti tällaisissa tehtävissä, joissa on valmis ratkaisu, voit käyttää SynapseML:n integrointia Azure AI -palveluihin tietojen muuntamiseen yhdessä vaiheessa. Suorita seuraava koodi näillä korvaamisilla:

  • Korvaa <secret-name> Azure AI Servicesin avainsalaisuuden nimellä.
  • Korvaa <key-vault-name> Key Vaultin nimellä.
from synapse.ml.services import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("<secret-name>", "<key-vault-name>")
).setLocation("eastus")

display(model.transform(test))

Liittyvä sisältö