Trainingsuitvoeringen organiseren met MLflow-experimenten

Artikel
01/21/2025

Experimenten zijn eenheden van de organisatie voor de uitvoering van modeltrainingen. Er zijn twee typen experimenten: werkruimte en notebook.

U kunt een werkruimte-experiment maken vanuit de Databricks Mosaic AI-gebruikersinterface of de MLflow-API. Werkruimteexperimenten zijn niet gekoppeld aan een notebook en elk notebook kan een uitvoering voor deze experimenten registreren met behulp van de experiment-id of de naam van het experiment.
Een notebookexperiment is gekoppeld aan een specifiek notebook. Azure Databricks maakt automatisch een notebookexperiment als er geen actief experiment is wanneer u een uitvoering start met behulp van mlflow.start_run().

Als u alle experimenten wilt zien in een werkruimte waartoe u toegang hebt, selecteert u Machine Learning > Experimenten in de zijbalk.

Pagina Experimenten

werkruimte-experiment maken

In deze sectie wordt beschreven hoe u een werkruimte-experiment maakt met behulp van de Gebruikersinterface van Azure Databricks. U kunt rechtstreeks vanuit de werkruimte of op de pagina Experimenten een werkruimte-experiment maken.

U kunt ook de MLflow-API of de Databricks Terraform-provider gebruiken met databricks_mlflow_experiment.

Zie Logboekuitvoeringen naar een experimentvoor instructies over logboekregistratieuitvoeringen naar werkruimteexperimenten.

experiment maken vanuit de werkruimte

Klik op Werkruimte in de zijbalk.
Navigeer naar de map waarin u het experiment wilt maken.
Klik met de rechtermuisknop op de map en selecteer > MLflow-experiment maken.
Voer in het dialoogvenster MLflow-experiment maken een naam in voor het experiment en een optionele artefactlocatie. Als u geen artefactlocatie opgeeft, worden artefacten opgeslagen in door MLflow beheerde artefactopslag: dbfs:/databricks/mlflow-tracking/<experiment-id>.

Azure Databricks ondersteunt Unity Catalog-volumes, Azure Blob Storage en Locaties van Azure Data Lake-opslagartefacten.

In MLflow 2.15.0 en hoger kunt u artefacten opslaan in een Unity Catalog-volume. Wanneer u een MLflow-experiment maakt, geeft u een volumespad op van het formulier dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path als de locatie van het MLflow-experimentartefact, zoals wordt weergegeven in de volgende code:
```
EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
CATALOG = "my_catalog"
SCHEMA = "my_schema"
VOLUME = "my_volume"
ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"

mlflow.set_tracking_uri("databricks")
mlflow.set_registry_uri("databricks-uc")

if mlflow.get_experiment_by_name(EXP_NAME) is None:
    mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
mlflow.set_experiment(EXP_NAME)
```
Als u artefacten wilt opslaan in Azure Blob Storage, geeft u een URI van het formulier wasbs://<container>@<storage-account>.blob.core.windows.net/<path>op. Artefacten die zijn opgeslagen in Azure Blob Storage worden niet weergegeven in de MLflow-gebruikersinterface; u moet ze downloaden met behulp van een blob-opslagclient.

Notitie

Wanneer u een artefact opslaat op een andere locatie dan DBFS, wordt het artefact niet weergegeven in de MLflow-gebruikersinterface. Modellen die zijn opgeslagen op andere locaties dan DBFS, kunnen niet worden geregistreerd in het modelregister.
Klik op Create. De pagina met details van het experiment voor het nieuwe experiment wordt weergegeven.
Als u uitvoeringen wilt vastleggen in dit experiment, roept mlflow.set_experiment() u het experimentpad aan. Als u het pad naar het experiment wilt weergeven, klikt u op het informatiepictogram rechts van de naam van het experiment. Zie logboekuitvoeringen voor een experiment voor meer informatie en een voorbeeldnotebook.

Experiment maken op de pagina Experimenten

Als u een basismodel wilt maken voor het afstemmen, autoML of aangepaste experiment, klikt u op Experimenten of selecteert u Nieuw > Experiment in de linkerzijbalk.

Selecteer boven aan de pagina een van de volgende opties om een experiment te configureren:

Foundation Model fijn afstemmen. Het dialoogvenster Foundation Model Fine-tuning wordt weergegeven. Zie voor meer informatie een trainingsuitvoering maken met behulp van de fine-tuning gebruikersinterface van het Foundation Model.
voorspellen. Het dialoogvenster Voorspellingsexperiment configureren wordt weergegeven. Zie Het AutoML-experiment configurerenvoor meer informatie.
classificatie. Het dialoogvenster Classificatie-experiment configureren wordt weergegeven. Zie Classificatieexperiment instellen met de gebruikersinterfacevoor meer informatie.
regressie. Het dialoogvenster Classificatie-experiment configureren wordt weergegeven. Zie Regressie-experiment instellen met de gebruikersinterfacevoor meer informatie.
Aangepaste. Het dialoogvenster MLflow Experiment maken wordt weergegeven. Zie stap 4 in Experiment maken vanuit de werkruimtevoor meer informatie.

notitieblokexperiment maken

Wanneer u de opdracht mlflow.start_run() gebruikt in een notebook, worden de metrische gegevens en parameters bijgehouden in het actieve experiment. Als er geen experiment actief is, maakt Azure Databricks een notebookexperiment. Een notebookexperiment deelt dezelfde naam en id als het bijbehorende notebook. De notebook-id is de numerieke id aan het einde van een Notebook-URL en -id.

U kunt ook een Azure Databricks-werkruimtepad doorgeven aan een bestaand notebook in mlflow.set_experiment() om er een notebookexperiment voor te maken.

Zie Logboekuitvoeringen naar een experimentvoor instructies over logboekregistratieuitvoeringen naar notebookexperimenten.

Notitie

Als u een notebookexperiment verwijdert met behulp van de API (bijvoorbeeld MlflowClient.tracking.delete_experiment() in Python), wordt het notebook zelf verplaatst naar de map Prullenbak.

Experimenten weergeven

Elk experiment waartoe u toegang hebt, wordt weergegeven op de pagina experimenten. Op deze pagina kunt u elk experiment bekijken. Klik op een naam van het experiment om de pagina met details van het experiment weer te geven.

Aanvullende manieren om toegang te krijgen tot de detailpagina van het experiment:

U kunt de pagina met experimentdetails voor een werkruimteexperiment openen vanuit het werkruimtemenu.
U kunt de pagina met experimentdetails voor een notitieblokexperiment openen vanuit het notitieblok.

Als u wilt zoeken naar experimenten, typt u tekst in het veld Filterexperimenten en drukt u op Enter of klikt u op het vergrootglaspictogram. In de lijst met experimenten worden alleen de experimenten weergegeven die de zoektekst bevatten in de kolom Naam, Gemaakt door, Locatie, of Beschrijving.

Klik op de naam van een experiment in de tabel om de detailpagina van het experiment weer te geven:

Experiment weergeven

De pagina met details van het experiment bevat alle uitvoeringen die aan het experiment zijn gekoppeld. Vanuit de tabel kunt u de uitvoeringspagina openen voor elke uitvoering die aan het experiment is gekoppeld door op de bijbehorende Run Namete klikken. De Bron kolom geeft u toegang tot de notebookversie die de uitvoering van de run heeft gemaakt. U kunt ook zoeken en filteren op metrische gegevens of parameterinstellingen.

Werkruimte-experiment weergeven

Klik op Werkruimte in de zijbalk.
Ga naar de map met het experiment.
Klik op de naam van het experiment.

Notitieblokexperiment weergeven

Klik in de rechterzijbalk van het notitieblok op het Experiment iconpictogram Experiment.

De zijbalk Experimentuitvoeringen wordt weergegeven en toont een samenvatting van elke uitvoering die is gekoppeld aan het notebook-experiment, inclusief uitvoeringsparameters en metrische gegevens. Boven aan de zijbalk staat de naam van het experiment waarnaar het notebook dat het laatst is vastgelegd, wordt uitgevoerd (een notebookexperiment of een werkruimteexperiment).

Uitvoeringsparameters en metrische gegevens weergeven

Vanuit de zijbalk kunt u naar de pagina met experimentdetails of rechtstreeks naar een uitvoering navigeren.

Als u het experiment wilt weergeven, klikt u uiterst rechts naast Experimentuitvoeringen.
Als u een uitvoering wilt weergeven, klikt u op de naam van de uitvoering.

Experimenten beheren

U kunt machtigingen wijzigen, verwijderen of beheren voor een experiment dat u bezit op de pagina experimenten, de pagina met details van het experimentof het werkruimtemenu.

Notitie

U kunt geen machtigingen rechtstreeks wijzigen, verwijderen of beheren voor een MLflow-experiment dat is gemaakt door een notebook in een Databricks Git-map. U moet deze acties uitvoeren op git-mapniveau.

Naam van experiment wijzigen

U kunt de naam van een experiment wijzigen dat u hebt van de Experimenten pagina of op de pagina met experimentdetails voor dat experiment.

Klik op de pagina Experimenten op het menu van De van De van de en klik vervolgens op Naam wijzigen.

Naam wijzigen op de pagina Experimenten.

Klik op de detailpagina van het experiment op het menu naast Machtigingen en klik vervolgens op Naam vanwijzigen.

Naam wijzigen op de pagina met experimentdetails.

U kunt de naam van een werkruimte-experiment wijzigen vanuit de werkruimte. Klik met de rechtermuisknop op de naam van het experiment en klik vervolgens op Naam vanwijzigen.

experiment-id en pad naar experiment ophalen

Op de pagina met experimentdetails kunt u het pad naar een notitieblokexperiment ophalen door te klikken op het informatiepictogram rechts van de naam van het experiment. Er wordt een pop-upnotitie weergegeven met het pad naar het experiment, de experiment-id en de artefactlocatie. U kunt de experiment-id in de opdracht MLflow set_experiment gebruiken om het actieve MLflow-experiment in te stellen.

Pictogram Naam van experiment

Vanuit een notebook kunt u het volledige pad van het experiment kopiëren door op het padpictogram

pictogram van het experimentenpad in de zijbalk van het notitieblok.

Notitieblokexperiment verwijderen

Notebook-experimenten maken deel uit van het notebook en kunnen niet afzonderlijk worden verwijderd. Wanneer u een notitieblok verwijdert, wordt het bijbehorende notebookexperiment verwijderd. Wanneer u een notebookexperiment verwijdert met behulp van de gebruikersinterface, wordt het notitieblok ook verwijderd.

Als u notebookexperimenten wilt verwijderen met behulp van de API, gebruikt u de Werkruimte-API om ervoor te zorgen dat zowel het notebook als het experiment worden verwijderd uit de werkruimte.

Een werkruimte- of notebookexperiment verwijderen

U kunt een experiment verwijderen dat u bezit van de pagina experimenten of op de pagina met experimentdetails.

Belangrijk

Wanneer u een notebookexperiment verwijdert, wordt het notitieblok ook verwijderd.

Klik op de pagina Experimenten op het kebabmenu in de meest rechtse kolom en klik vervolgens op Verwijderen.

Verwijderen van de experimentenpagina.

Klik op de detailpagina van het experiment op het menu van de resource naast Machtigingen en klik vervolgens op Verwijderen.

verwijderen uit de detailpagina van het experiment.

U kunt een werkruimte-experiment verwijderen uit de werkruimte. Klik met de rechtermuisknop op de naam van het experiment en klik vervolgens op Verplaatsen naar Prullenbak.

Machtigingen voor een experiment wijzigen

Als u machtigingen voor een experiment wilt wijzigen vanaf de pagina met details van het experiment, klikt u op Machtigingen.

Paginamachtigingen voor experimentdetails

U kunt machtigingen wijzigen voor een experiment dat u bezit van de experimenten pagina. Klik in de uiterst rechtse kolom op het kebab-menu en klik vervolgens op Machtigingen.

Machtigingen wijzigen vanaf de pagina Experimenten.

Zie MLflow-experiment-ACL's voor informatie over machtigingsniveaus voor experimenten.

Experimenten kopiëren tussen werkruimten

Als u MLflow-experimenten tussen werkruimten wilt migreren, kunt u het door de community gestuurde opensource-project MLflow Export-Import gebruiken.

Met deze hulpprogramma's kunt u het volgende doen:

Deel en werk samen met andere gegevenswetenschappers op dezelfde of een andere traceringsserver. U kunt bijvoorbeeld een experiment van een andere gebruiker klonen in uw werkruimte.
Kopieer MLflow-experimenten en voer deze uit vanaf uw lokale traceringsserver naar uw Databricks-werkruimte.
Maak een back-up van essentiële experimenten en modellen naar een andere Databricks-werkruimte.

Delen via