Metrische gegevens weergeven en modellen evalueren

  • 8 minuten

Nadat u modellen hebt getraind en bijgehouden met MLflow in Azure Machine Learning, kunt u de metrische gegevens verkennen en uw modellen evalueren.

  • Bekijk metrische gegevens in de Azure Machine Learning-studio.
  • Uitvoeringen en metrische gegevens ophalen met MLflow.

Notitie

Azure Machine Learning maakt gebruik van het concept van taken wanneer u een script uitvoert. Meerdere taakuitvoeringen in Azure Machine Learning kunnen binnen één experiment worden gegroepeerd. MLflow maakt gebruik van een vergelijkbare syntaxis waarbij elk script een uitvoering is, die deel uitmaakt van een experiment.

De metrische gegevens in de Azure Machine Learning-studio weergeven

Wanneer uw taak is voltooid, kunt u de vastgelegde parameters, metrische gegevens en artefacten in de Azure Machine Learning-studio bekijken.

Wanneer u taakuitvoeringen bekijkt in de Azure Machine Learning-studio, verkent u de metrische gegevens van een taakuitvoering, die deel uitmaakt van een experiment.

Als u de metrische gegevens wilt weergeven via een intuïtieve gebruikersinterface, kunt u het volgende doen:

  1. Open de Studio door naar https://ml.azure.com.
  2. Zoek de uitvoering van het experiment en open het om de details ervan weer te geven.
  3. Op het tabblad Details worden alle vastgelegde parameters weergegeven onder Params.
  4. Selecteer het tabblad Metrische gegevens en selecteer de metrische waarde die u wilt verkennen.
  5. Eventuele plots die als artefacten worden geregistreerd, vindt u onder Afbeeldingen.
  6. De modelassets die kunnen worden gebruikt om het model te registreren en te implementeren, worden opgeslagen in de map Modellen onder Uitvoer en logboeken.

Tip

Lees de documentatie voor meer informatie over het bijhouden van modellen met MLflow.

Metrische gegevens ophalen met MLflow in een notebook

Wanneer u een trainingsscript uitvoert als een taak in Azure Machine Learning en uw modeltraining bijhoudt met MLflow, kunt u een query uitvoeren op de uitvoeringen in een notebook met behulp van MLflow. Als u MLflow in een notebook gebruikt, hebt u meer controle over welke uitvoeringen u wilt ophalen om te vergelijken.

Wanneer u MLflow gebruikt om query's uit te voeren op uw uitvoeringen, verwijst u naar experimenten en uitvoeringen.

Alle experimenten doorzoeken

U kunt alle actieve experimenten in de werkruimte ophalen met behulp van MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Als u ook gearchiveerde experimenten wilt ophalen, neemt u de optie ViewType.ALLop:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Als u een specifiek experiment wilt ophalen, kunt u het volgende uitvoeren:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Tip

Bekijk de documentatie over het zoeken naar experimenten met MLflow

Uitvoeringen ophalen

Met MLflow kunt u zoeken naar uitvoeringen binnen elk experiment. U hebt de experiment-id of de naam van het experiment nodig.

Als u bijvoorbeeld de metrische gegevens van een specifieke uitvoering wilt ophalen:

mlflow.search_runs(exp.experiment_id)

U kunt indien nodig zoeken naar uitvoeringen in meerdere experimenten. Het doorzoeken van experimenten kan handig zijn als u uitvoeringen van hetzelfde model wilt vergelijken wanneer het wordt geregistreerd in verschillende experimenten (door verschillende personen of verschillende projectiteraties).

U kunt dit gebruiken search_all_experiments=True als u in alle experimenten in de werkruimte wilt zoeken.

Experimenten worden standaard aflopend start_timegerangschikt. Dit is het tijdstip waarop het experiment in de wachtrij is geplaatst in Azure Machine Learning. U kunt deze standaardinstelling echter wijzigen met behulp van de parameter order_by.

Als u bijvoorbeeld wilt sorteren op begintijd en alleen de laatste twee resultaten wilt weergeven:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

U kunt ook zoeken naar een uitvoering met een specifieke combinatie in de hyperparameters:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)

Tip

Bekijk de documentatie over het zoeken naar uitvoeringen met MLflow