Automaattinen lokertelu Microsoft Fabricissa
Microsoft Fabricin Synapse Data Science sisältää automaattisen lokeroinnin, joka vähentää merkittävästi koodimäärää, jota tarvitaan koneoppimismallin parametrien, mittarien ja kohteiden automaattisesti kirjaamiseen koulutuksen aikana. Tässä artikkelissa kuvataan Synapse Data Science -tieteen automaattinen tallentaminen Microsoft Fabricissa.
Automaattinen lokkeaminen laajentaa MLflow Tracking - ominaisuuksia, ja se on integroitu syvälle Synapse Data Science in Microsoft Fabric -käyttökokemukseen. Automaattinen kirjaus voi tallentaa eri mittareita, kuten tarkkuuden, tappion, F1-pisteet ja määrittämäsi mukautetut mittarit. Automaattisen lokittelun avulla kehittäjät ja datatieteilijät voivat helposti seurata ja vertailla eri mallien suorituskykyä ja kokeilla ilman manuaalista seurantaa.
Tuetut sovelluskehykset
Automaattinen loggaus tukee monia erilaisia koneoppimiskehyksiä, kuten TensorFlow, PyTorch, Scikit-learn ja XGBoost. Jos haluat lisätietoja sovelluskehyskohtaisista ominaisuuksista, jotka tallentavat automaattisesti, lue MLflow-dokumentaatio.
Konfiguraatio
Automaattinen lokerointi toimii tallentamalla automaattisesti arvot syöteparametreista, tulostemittareista ja koneoppimismallin tulostekohteista harjoittamisen aikana. Nämä tiedot kirjataan Microsoft Fabric -työtilaan, jossa voit käyttää ja visualisoida niitä käyttämällä MLflow-ohjelmointirajapintoja tai niitä vastaavia kokeilu- ja mallikohteita Microsoft Fabric -työtilassasi.
Kun käynnistät Synapse Data Science -muistikirjan, Microsoft Fabric kutsuu mlflow.autolog() -, jotta vastaavat riippuvuudet voidaan seurata ja ladata välittömästi. Kun harjoitat malleja muistikirjassasi, MLflow seuraa automaattisesti näitä mallin tietoja.
Määritys tapahtuu automaattisesti taustalla, kun suoritat import mlflow. Muistikirjan oletusmääritys mlflow.autolog() hook on seuraava:
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Mukauttaminen
Voit mukauttaa kirjaamisen toimintaa käyttämällä mlflow.autolog() - määrityksiä. Tämä määritys tarjoaa parametreja, joiden avulla voit ottaa käyttöön mallin kirjaamisen, kerätä syötenäytteitä, määrittää varoituksia tai ottaa käyttöön määrittämäsi lisätyn sisällön kirjaamisen.
Seuraa lisää mittareita, parametreja ja ominaisuuksia
Päivitä MLflow'n avulla luotujen suoritusten MLflow-automaattisen lokeroinnin määritykset, jotta voit seurata muita mittareita, parametreja, tiedostoja ja metatietoja seuraavasti:
Päivitä mlflow.autolog() -kutsu ja määritä
exclusive=False.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )MLflow-seurantaohjelmointirajapintojen avulla voit kirjata lisäparametrit ja mittarien. Seuraavassa esimerkkikoodissa voit kirjata mukautetut mittarit ja parametrit muiden ominaisuuksien rinnalle.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Poista Microsoft Fabric -automaattinen lokeraus käytöstä
Voit poistaa Microsoft Fabricin automaattisen lokeraamisen käytöstä tiettyä muistikirjaistuntoa varten. Voit myös poistaa automaattisen lokittelun käytöstä kaikissa muistikirjoissa käyttämällä työtila-asetusta.
Muistiinpano
Jos automaattinen lokiloki on poistettu käytöstä, sinun on kirjattava parametrit manuaalisesti ja mittarit MLflow-ohjelmointirajapintojen avulla.
Muistikirjaistunnon automaattisen lokeraamisen poistaminen käytöstä
Jos haluat poistaa Microsoft Fabric -automaattianalyysin käytöstä tiettyä muistikirjaistuntoa varten, kutsu mlflow.autolog() - ja määritä disable=True.
import mlflow
mlflow.autolog(disable=True)
Poista automaattinen lokeraus käytöstä kaikissa muistikirjoissa ja istunnoissa
Työtilan järjestelmänvalvojat voivat ottaa käyttöön tai poistaa käytöstä Microsoft Fabric -automaattisen lokeraamisen kaikissa työtiloissaan olevien muistikirjojen ja istuntojen osalta työtilan asetusten avulla. Synapse Data Science -automaattianalyysin ottaminen käyttöön tai poistaminen käytöstä:
Valitse työtilassa Työtilan asetukset.
Laajenna Työtilan asetukset -vasemmassa siirtymispalkissa Data Engineering/Science ja valitse Spark-asetukset.
Valitse
Spark-asetusten Automaattinen loki -välilehti. Määritä Koneoppimiskokeilujen ja -mallien automaattinen seuranta ja on käytössä On tai Off.
Valitse Tallenna.
