Trainingsuitvoeringen organiseren met MLflow-experimenten

Experimenten zijn eenheden van de organisatie voor de uitvoering van modeltrainingen. Er zijn twee typen experimenten: werkruimte en notebook.

• U kunt een werkruimte-experiment maken vanuit de Databricks Mosaic AI-gebruikersinterface of de MLflow-API. Werkruimteexperimenten zijn niet gekoppeld aan een notebook en elk notebook kan een uitvoering voor deze experimenten registreren met behulp van de experiment-id of de naam van het experiment.
• Een notebookexperiment is gekoppeld aan een specifiek notebook. Azure Databricks maakt automatisch een notebookexperiment als er geen actief experiment is wanneer u een uitvoering start met behulp van mlflow.start_run().

Als u alle experimenten wilt zien in een werkruimte waartoe u toegang hebt, selecteert u Machine Learning-experimenten > in de zijbalk.

Werkruimteexperiment maken

In deze sectie wordt beschreven hoe u een werkruimte-experiment maakt met behulp van de Gebruikersinterface van Azure Databricks. U kunt rechtstreeks vanuit de werkruimte of op de pagina Experimenten een werkruimte-experiment maken.

U kunt ook de MLflow-API of de Databricks Terraform-provider gebruiken met databricks_mlflow_experiment.

Zie Voorbeeldnotitieblok voor logboekregistratie voor instructies over logboekregistratieuitvoeringen naar werkruimteexperimenten.

1. Klik op Werkruimte in de zijbalk.

2. Navigeer naar de map waarin u het experiment wilt maken.

3. Klik met de rechtermuisknop op de map en selecteer MLflow-experiment maken>.

4. Voer in het dialoogvenster MLflow-experiment maken een naam in voor het experiment en een optionele artefactlocatie. Als u geen artefactlocatie opgeeft, worden artefacten opgeslagen in door MLflow beheerde artefactopslag: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks ondersteunt Unity Catalog-volumes, Azure Blob Storage- en Azure Data Lake-opslagartefactlocaties.

   In MLflow 2.15.0 en hoger kunt u artefacten opslaan in een Unity Catalog-volume. Wanneer u een MLflow-experiment maakt, geeft u een volumepad van het formulier dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path op als de locatie van het MLflow-experimentartefact.

   Als u artefacten wilt opslaan in Azure Blob Storage, geeft u een URI van het formulier wasbs://<container>@<storage-account>.blob.core.windows.net/<path>op. Artefacten die zijn opgeslagen in Azure Blob Storage worden niet weergegeven in de MLflow-gebruikersinterface; u moet ze downloaden met behulp van een blob-opslagclient.

   Notitie

   Wanneer u een artefact opslaat op een andere locatie dan DBFS, wordt het artefact niet weergegeven in de MLflow-gebruikersinterface. Modellen die zijn opgeslagen op andere locaties dan DBFS, kunnen niet worden geregistreerd in het modelregister.

5. Klik op Create. Er wordt een leeg experiment weergegeven.

U kunt ook een nieuw werkruimte-experiment maken op de pagina Experimenten. Als u een nieuw experiment wilt maken, gebruikt u de vervolgkeuzelijst. In de vervolgkeuzelijst kunt u een AutoML-experiment of een leeg (leeg) experiment selecteren.

• AutoML-experiment. De pagina AutoML-experiment configureren wordt weergegeven. Zie Wat is AutoML?voor informatie over het gebruik van AutoML.

• Leeg experiment. Het dialoogvenster MLflow Experiment maken wordt weergegeven. Voer een naam en een optionele artefactlocatie in het dialoogvenster in om een nieuw werkruimte-experiment te maken. De standaardlocatie van het artefact is dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Als u uitvoeringen wilt vastleggen in dit experiment, roept mlflow.set_experiment() u het experimentpad aan. Het pad naar het experiment wordt boven aan de experimentpagina weergegeven. Zie Voorbeeldnotitieblok voor logboekregistratie voor meer informatie en een voorbeeldnotitieblok.

Notitieblokexperiment maken

Wanneer u de opdracht mlflow.start_run() in een notebook gebruikt, worden metrische gegevens en parameters voor het actieve experiment uitgevoerd. Als er geen experiment actief is, maakt Azure Databricks een notebookexperiment. Een notebookexperiment deelt dezelfde naam en id als het bijbehorende notebook. De notebook-id is de numerieke id aan het einde van een notebook-URL en -id.

U kunt ook een Azure Databricks-werkruimtepad doorgeven aan een bestaand notebook in mlflow.set_experiment() om er een notebookexperiment voor te maken.

Zie Voorbeeldnotitieblok voor logboekregistratie voor instructies over logboekregistratieuitvoeringen naar notebookexperimenten.

Notitie

Als u een notebookexperiment verwijdert met behulp van de API (bijvoorbeeld MlflowClient.tracking.delete_experiment() in Python), wordt het notebook zelf verplaatst naar de map Prullenbak.

Experimenten weergeven

Elk experiment waartoe u toegang hebt, wordt weergegeven op de pagina experimenten. Op deze pagina kunt u elk experiment bekijken. Klik op een experimentnaam om de experimentpagina weer te geven.

Aanvullende manieren om toegang te krijgen tot de experimentpagina:

• U kunt de experimentpagina voor een werkruimteexperiment openen vanuit het werkruimtemenu.
• U kunt de experimentpagina voor een notebookexperiment openen vanuit het notitieblok.

Als u wilt zoeken naar experimenten, typt u tekst in het veld Filterexperimenten en drukt u op Enter of klikt u op het vergrootglaspictogram. In de lijst met experimenten wordt alleen de experimenten weergegeven die de zoektekst bevatten in de kolom Naam, Gemaakt door, Locatie of Beschrijving .

Klik op de naam van een experiment in de tabel om de bijbehorende experimentpagina weer te geven:

Op de experimentpagina worden alle uitvoeringen weergegeven die aan het experiment zijn gekoppeld. Vanuit de tabel kunt u de uitvoeringspagina openen voor elke uitvoering die aan het experiment is gekoppeld door op de uitvoeringsnaam te klikken. De kolom Bron geeft u toegang tot de notebookversie die de uitvoering heeft gemaakt. U kunt ook zoeken en filteren op metrische gegevens of parameterinstellingen.

Werkruimte-experiment weergeven

1. Klik op Werkruimte in de zijbalk.
2. Ga naar de map met het experiment.
3. Klik op de naam van het experiment.

Notitieblokexperiment weergeven

Klik in de rechterzijbalk van het notitieblok op het pictogram Experiment.

De zijbalk Experimentuitvoeringen wordt weergegeven en toont een samenvatting van elke uitvoering die is gekoppeld aan het notebook-experiment, inclusief uitvoeringsparameters en metrische gegevens. Boven aan de zijbalk staat de naam van het experiment waarnaar het notebook dat het laatst is vastgelegd, wordt uitgevoerd (een notebookexperiment of een werkruimteexperiment).

Vanuit de zijbalk kunt u naar de experimentpagina of rechtstreeks naar een uitvoering navigeren.

• Als u het experiment wilt weergeven, klikt u uiterst rechts naast Experimentuitvoeringen.
• Als u een uitvoering wilt weergeven, klikt u op de naam van de uitvoering.

Experimenten beheren

U kunt machtigingen voor een experiment dat u bezit wijzigen, verwijderen of beheren vanaf de pagina experimenten, de experimentpagina of het werkruimtemenu.

Notitie

U kunt geen machtigingen rechtstreeks wijzigen, verwijderen of beheren voor een MLflow-experiment dat is gemaakt door een notebook in een Databricks Git-map. U moet deze acties uitvoeren op git-mapniveau.

De naam van het experiment wijzigen vanaf de experimentenpagina of de experimentpagina

Belangrijk

Deze functie is beschikbaar als openbare preview.

Als u de naam van een experiment wilt wijzigen op de pagina experimenten of op de experimentpagina, klikt u op Naam wijzigen en selecteert u Naam wijzigen.

De naam van het experiment wijzigen vanuit het werkruimtemenu

1. Klik op Werkruimte in de zijbalk.
2. Ga naar de map met het experiment.
3. Klik met de rechtermuisknop op de naam van het experiment en selecteer Naam wijzigen.

Naam van experiment kopiëren

Als u de naam van het experiment wilt kopiëren, klikt u boven aan de experimentpagina. U kunt deze naam gebruiken in de opdracht set_experiment MLflow om het actieve MLflow-experiment in te stellen.

U kunt de naam van het experiment ook kopiëren vanuit de zijbalk van het experiment in een notitieblok.

Notitieblokexperiment verwijderen

Notebook-experimenten maken deel uit van het notebook en kunnen niet afzonderlijk worden verwijderd. Wanneer u een notitieblok verwijdert, wordt het bijbehorende notebookexperiment verwijderd. Wanneer u een notebookexperiment verwijdert met behulp van de gebruikersinterface, wordt het notitieblok ook verwijderd.

Als u notebookexperimenten wilt verwijderen met behulp van de API, gebruikt u de Werkruimte-API om ervoor te zorgen dat zowel het notebook als het experiment worden verwijderd uit de werkruimte.

Werkruimte-experiment verwijderen uit het werkruimtemenu

1. Klik op Werkruimte in de zijbalk.
2. Ga naar de map met het experiment.
3. Klik met de rechtermuisknop op de naam van het experiment en selecteer Verplaatsen naar Prullenbak.

Werkruimte- of notitieblokexperiment verwijderen van de experimentenpagina of de experimentpagina

Belangrijk

Deze functie is beschikbaar als openbare preview.

Als u een experiment wilt verwijderen van de experimentenpagina of de experimentpagina, klikt u op Verwijderen en selecteert u Verwijderen.

Wanneer u een notebookexperiment verwijdert, wordt het notitieblok ook verwijderd.

Machtigingen voor experiment wijzigen

Als u machtigingen voor een experiment wilt wijzigen vanaf de experimentpagina, klikt u op Delen.

U kunt machtigingen wijzigen voor een experiment dat u bezit op de pagina experimenten. Klik in de kolom Acties en selecteer Machtiging.

Zie MLflow-experiment-ACL's voor informatie over machtigingsniveaus voor experimenten.

Experimenten kopiëren tussen werkruimten

Als u MLflow-experimenten tussen werkruimten wilt migreren, kunt u het door de community gestuurde opensource-project MLflow Export-Import gebruiken.

Met deze hulpprogramma's kunt u het volgende doen:

• Deel en werk samen met andere gegevenswetenschappers op dezelfde of een andere traceringsserver. U kunt bijvoorbeeld een experiment van een andere gebruiker klonen in uw werkruimte.
• Kopieer MLflow-experimenten en voer deze uit vanaf uw lokale traceringsserver naar uw Databricks-werkruimte.
• Maak een back-up van essentiële experimenten en modellen naar een andere Databricks-werkruimte.