Experimenten en modellen bijhouden met MLflow

Bijhouden is het proces van het opslaan van relevante informatie over experimenten. In dit artikel leert u hoe u MLflow gebruikt voor het bijhouden van experimenten en uitvoeringen in Azure Machine Learning-werkruimten.

Sommige methoden die beschikbaar zijn in de MLflow-API, zijn mogelijk niet beschikbaar wanneer ze zijn verbonden met Azure Machine Learning. Zie ondersteuningsmatrix voor het uitvoeren van query's en experimenten voor meer informatie over ondersteunde en niet-ondersteunde bewerkingen. U kunt ook meer informatie krijgen over de ondersteunde MLflow-functies in Azure Machine Learning uit het artikel MLflow en Azure Machine Learning.

Notitie

• Zie Azure Databricks ML-experimenten bijhouden met MLflow en Azure Machine Learning om experimenten bij te houden die worden uitgevoerd in Azure Databricks.
• Als u experimenten wilt bijhouden die worden uitgevoerd in Azure Synapse Analytics, raadpleegt u Azure Synapse Analytics ML-experimenten bijhouden met MLflow en Azure Machine Learning.

Vereisten

• Een Azure-abonnement hebben met de gratis of betaalde versie van Azure Machine Learning.

• Als u Azure CLI- en Python-opdrachten wilt uitvoeren, installeert u Azure CLI v2 en de Azure Machine Learning SDK v2 voor Python. De ml extensie voor Azure CLI wordt automatisch geïnstalleerd wanneer u voor het eerst een Azure Machine Learning CLI-opdracht uitvoert.

• Installeer het MLflow SDK-pakket mlflow en de Azure Machine Learning-invoegtoepassing azureml-mlflow voor MLflow als volgt:

  pip install mlflow azureml-mlflow
  

  Tip

  U kunt het mlflow-skinny pakket gebruiken. Dit is een lichtgewicht MLflow-pakket zonder SQL-opslag-, server-, UI- of data science-afhankelijkheden. Dit pakket wordt aanbevolen voor gebruikers die voornamelijk de MLflow-mogelijkheden voor tracering en logboekregistratie nodig hebben zonder de volledige suite met functies te importeren, inclusief implementaties.

• Een Azure Machine Learning-werkruimte maken Zie Resources maken die u nodig hebt om aan de slag te gaan om een werkruimte te maken. Controleer de toegangsmachtigingen die u nodig hebt om uw MLflow-bewerkingen uit te voeren in uw werkruimte.

• Als u externe tracering wilt uitvoeren of experimenten wilt bijhouden die buiten Azure Machine Learning worden uitgevoerd, configureert u MLflow zodat deze verwijst naar de tracerings-URI van uw Azure Machine Learning-werkruimte. Zie MLflow configureren voor Azure Machine Learning voor meer informatie over het verbinden van MLflow met uw werkruimte.

Het experiment configureren

MLflow organiseert informatie in experimenten en uitvoeringen. Uitvoeringen worden taken genoemd in Azure Machine Learning. Standaard wordt het logboek uitgevoerd naar een automatisch gemaakt experiment met de naam Standaard, maar u kunt configureren welk experiment moet worden bijgehouden.

Notebooks

Voor interactieve training, zoals in een Jupyter-notebook, gebruikt u de opdracht mlflow.set_experiment()MLflow. Met het volgende codefragment wordt bijvoorbeeld een experiment geconfigureerd:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Taken

Als u taken wilt verzenden met behulp van de Azure Machine Learning CLI of SDK, stelt u de naam van het experiment in met behulp van de experiment_name eigenschap van de taak. U hoeft de naam van het experiment niet te configureren in uw trainingsscript.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

De uitvoering configureren

Azure Machine Learning houdt trainingstaken bij in welke MLflow-aanroepen worden uitgevoerd. Gebruik uitvoeringen om alle verwerkingen vast te leggen die door uw taak worden uitgevoerd.

Notebooks

Wanneer u interactief werkt, begint MLflow met het bijhouden van uw trainingsroutine zodra u gegevens opgeeft waarvoor een actieve uitvoering is vereist. Als de functionaliteit voor automatische logboekregistratie van Mlflow bijvoorbeeld is ingeschakeld, wordt het bijhouden van MLflow gestart wanneer u een metrische waarde of parameter aanmeldt of een trainingscyclus start.

Het is echter meestal handig om de uitvoering expliciet te starten, vooral als u de totale tijd voor uw experiment in het veld Duur wilt vastleggen. Als u de uitvoering expliciet wilt starten, gebruikt u mlflow.start_run().

Of u nu de uitvoering handmatig start of niet, u moet de uitvoering uiteindelijk stoppen, zodat MLflow weet dat de uitvoering van het experiment is voltooid en de status van de uitvoering kan markeren als Voltooid. Als u een uitvoering wilt stoppen, gebruikt u mlflow.end_run().

De volgende code start een uitvoering handmatig en eindigt deze aan het einde van het notebook:

mlflow.start_run()

# Your code

mlflow.end_run()

Het is raadzaam om handmatig te starten, zodat u ze niet vergeet te beëindigen. U kunt het contextbeheerparadigma gebruiken om u te helpen de uitvoering te beëindigen.

with mlflow.start_run() as run:
    # Your code

Wanneer u een nieuwe uitvoering start, mlflow.start_run()kan het handig zijn om de run_name parameter op te geven, die later wordt omgezet in de naam van de uitvoering in de Azure Machine Learning-gebruikersinterface. Met deze procedure kunt u de uitvoering sneller identificeren.

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Taken

Met Azure Machine Learning-taken kunt u langlopende trainings- of deductieroutines verzenden als geïsoleerde en reproduceerbare uitvoeringen.

Een trainingsroutine maken die tracering heeft

Wanneer u met taken werkt, plaatst u doorgaans al uw trainingslogica als bestanden in een map, zoals src. Een van de bestanden is een Python-bestand met het invoerpunt van uw trainingscode.

In uw trainingsroutine kunt u de MLflow SDK gebruiken om metrische gegevens, parameters, artefacten of modellen bij te houden. Zie voor voorbeelden metrische logboekgegevens, parameters en bestanden met MLflow.

In het volgende voorbeeld ziet u een hello_world.py trainingsroutine waarmee logboekregistratie wordt toegevoegd:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

In het vorige codevoorbeeld wordt niet gebruikgemaakt mlflow.start_run() , maar als dit wordt gebruikt, gebruikt MLflow de huidige actieve uitvoering opnieuw. Daarom hoeft u de mlflow.start_run() regel niet te verwijderen als u code migreert naar Azure Machine Learning.

Zorg ervoor dat de omgeving van uw taak MLflow heeft geïnstalleerd

Voor alle gecureerde Azure Machine Learning-omgevingen is MLflow al geïnstalleerd. Als u echter een aangepaste omgeving gebruikt, maakt u een conda.yaml-bestand met de afhankelijkheden die u nodig hebt en verwijst u naar de omgeving in uw taak.

channels:
- conda-forge
dependencies:
- python=3.8.5
- pip
- pip:
  - mlflow
  - azureml-mlflow
  - fastparquet
  - cloudpickle==1.6.0
  - colorama==0.4.4
  - dask==2023.2.0

De taaknaam configureren

Gebruik de parameter display_name Azure Machine Learning-taken om de naam van de uitvoering te configureren.

1. Gebruik de display_name eigenschap om de taak te configureren.

   Azure-CLI

   Als u de taak wilt configureren, maakt u een YAML-bestand met uw taakdefinitie in een job.yml bestand buiten de src-map .

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

   Python SDK

   from azure.ai.ml import command, Environment
   
   command_job = command(
       code="src",
       command="echo "hello world",
       environment=Environment(image="library/python:latest"),
       compute="cpu-cluster",
       display_name="hello-world-example"
   )
   

2. Zorg ervoor dat u niet in uw trainingsroutine gebruikt mlflow.start_run(run_name="") .

De taak verzenden

1. De werkruimte is de resource op het hoogste niveau voor Azure Machine Learning en biedt een centrale plek om te werken met alle Azure Machine Learning-artefacten die u maakt. Maak verbinding met de Azure Machine Learning-werkruimte.

   Azure-CLI

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

   Python SDK

   1. Importeer de vereiste bibliotheken:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      

   2. Configureer werkruimtegegevens en haal een ingang op voor de werkruimte:

      subscription_id = "<subscription>"
      resource_group = "<resource-group>"
      workspace = "<workspace>"
      
      ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
      

2. Open uw terminal en gebruik de volgende code om de taak in te dienen. Taken die gebruikmaken van MLflow en worden uitgevoerd in Azure Machine Learning, registreren automatisch traceringsgegevens in de werkruimte.

   Azure-CLI

   Gebruik de Azure Machine Learning CLI om uw taak te verzenden.

   az ml job create -f job.yml --web
   

   Python SDK

   Gebruik de Python SDK om uw taak in te dienen.

   returned_job = ml_client.jobs.create_or_update(command_job)
   returned_job.studio_url
   

3. Controleer de voortgang van de taak in Azure Machine Learning-studio.

Automatische aanmelding van MLflow inschakelen

U kunt metrische gegevens, parameters en bestanden handmatig vastleggen met MLflow en u kunt ook vertrouwen op de automatische logboekregistratiemogelijkheden van MLflow. Elk machine learning-framework dat wordt ondersteund door MLflow bepaalt wat automatisch voor u moet worden bijgehouden.

Als u automatische logboekregistratie wilt inschakelen , voegt u de volgende code in vóór uw trainingscode:

mlflow.autolog()

Metrische gegevens en artefacten weergeven in uw werkruimte

De metrische gegevens en artefacten uit MLflow-logboekregistratie worden bijgehouden in uw werkruimte. U kunt ze in Azure Machine Learning-studio bekijken en openen of programmatisch openen via de MLflow SDK.

Metrische gegevens en artefacten weergeven in de studio:

1. Selecteer op de pagina Taken in uw werkruimte de naam van het experiment.

2. Selecteer op de pagina details van het experiment het tabblad Metrische gegevens .

3. Selecteer vastgelegde metrische gegevens om grafieken aan de rechterkant weer te geven. U kunt de grafieken aanpassen door vloeiender te maken, de kleur te wijzigen of meerdere metrische gegevens in één grafiek te tekenen. U kunt ook het formaat van de indeling wijzigen en opnieuw rangschiknen.

4. Zodra u de gewenste weergave hebt gemaakt, slaat u deze op voor toekomstig gebruik en deelt u deze met uw teamleden via een directe koppeling.

   

Gebruik mlflow.get_run()om programmatisch toegang te krijgen tot metrische gegevens, parameters en artefacten via de MLflow SDK of om query's uit te voeren op metrische gegevens, parameters en artefacten.

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

Tip

In het voorgaande voorbeeld wordt alleen de laatste waarde van een gegeven metriek geretourneerd. Als u alle waarden van een bepaalde metrische waarde wilt ophalen, gebruikt u de mlflow.get_metric_history methode. Zie Parameters en metrische gegevens ophalen uit een uitvoering voor meer informatie over het ophalen van metrische waarden.

Als u artefacten wilt downloaden die u hebt geregistreerd, zoals bestanden en modellen, gebruikt u mlflow.artifacts.download_artifacts().

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

Zie Query&&compare experimenten en uitvoeringen met MLflow voor meer informatie over het ophalen of vergelijken van gegevens uit experimenten en uitvoeringen in Azure Machine Learning met behulp van MLflow.

Gerelateerde inhoud

• MLflow-modellen implementeren
• Modellen beheren met MLflow
• MLflow (Jupyter Notebooks) gebruiken