Organiser des exécutions de formation avec des expériences MLflow

Les expériences sont des unités d’organisation pour vos exécutions d’entraînement de modèle. Il existe deux types d’expériences : espace de travail et bloc-notes.

• Vous pouvez créer une expérience d’espace de travail à partir de l’interface utilisateur Databricks Mosaic AI ou de l’API MLflow. Les expériences d’espace de travail ne sont associées à aucun bloc-notes, et tout Notebook peut consigner une série de tests à l’aide de l’ID d’expérimentation ou du nom de l’expérience.
• Une expérience de Notebook est associée à un bloc-notes spécifique. Azure Databricks crée automatiquement une expérience de bloc-notes s’il n’y a pas d’expérience active lorsque vous démarrez une exécution à l’aide de mlflow.start_run ().

Pour voir toutes les expériences d'un espace de travail auquel vous avez accès, sélectionnez Machine Learning > Expériences dans la barre latérale.

Créer une expérience d’espace de travail

Cette section décrit comment créer une expérience d’espace de travail à l’aide de l’interface utilisateur Azure Databricks. Vous pouvez créer une expérience d’espace de travail directement à partir de l’espace de travail ou de la page Expériences.

Vous pouvez aussi utiliser l’API MLflow ou le fournisseur Databricks Terraform avec databricks_mlflow_experiment.

Pour obtenir des instructions sur les exécutions de la journalisation dans les expériences d’espace de travail, consultez Exemple de Journalisation de notebook.

1. Dans la barre latérale, cliquez sur Espace de travail.

2. Naviguez jusqu’au dossier dans lequel vous souhaitez créer l’expérience.

3. Cliquez avec le bouton droit sur le dossier, puis sélectionnez Créer > une expérience MLflow.

4. Dans la boîte de dialogue créer une expérience MLflow, entrez un nom pour l’expérience et un emplacement d’artefact facultatif. Si vous ne spécifiez pas d’emplacement d’artefact, les artefacts sont stockés dans le stockage d’artefacts géré par MLflow : dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks prend en charge les volumes Unity Catalog, le stockage Blob Azure et les emplacements d’artefacts de stockage Azure Data Lake.

   Dans MLflow 2.15.0 et versions ultérieures, vous pouvez stocker des artefacts dans un volume de catalogue Unity. Lorsque vous créez une expérience MLflow, spécifiez un chemin d’accès de volumes du formulaire dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path en tant qu’emplacement d’artefact d’expérience MLflow.

   Pour stocker des artefacts dans le stockage d’objets BLOB Azure, spécifiez un URI sous la forme wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Les Artifacts stockées dans le stockage d’objets blob Azure n’apparaissent pas dans l’interface utilisateur MLflow ; vous devez les télécharger à l’aide d’un client de stockage d’objets blob.

   Remarque

   Lorsque vous stockez un artefact dans un autre emplacement que DBFS, l’artefact n’apparaît pas dans l’interface utilisateur MLflow. Les modèles stockés dans des emplacements autres que DBFS ne peuvent pas être inscrits dans le Registre du modèle.

5. Cliquez sur Créer. Une expérience vide apparaît.

Vous pouvez également créer une nouvelle expérience d’espace de travail à partir de la page Expériences. Pour créer une nouvelle expérience, utilisez le menu déroulant . Dans le menu déroulant, vous pouvez sélectionner une expérience AutoML ou une expérience vierge (vide).

• Expérience AutoML. La page Configurer l’expérimentation AutoML s’affiche. Pour plus d’informations sur l’utilisation d’AutoML, consultez Qu’est-ce que AutoML ?.

• Expérience vide. La boîte de dialogue créer une expérience MLflow s’affiche. Entrez un nom et un emplacement d’artefact facultatif dans la boîte de dialogue pour créer une expérience d’espace de travail. L’emplacement par défaut de l’artefact est dbfs:/databricks/mlflow-tracking/<experiment-id> .

  Pour consigner des exécutions dans cette expérience, appelez mlflow.set_experiment() avec le chemin d’expérimentation. Le chemin d’expérimentation apparaît en haut de la page de l'expérience. Consultez le Exemple de journalisation de notebook pour plus d’informations et pour obtenir un exemple de notebook.

Créer une expérience de notebook

Lorsque vous utilisez la commande mlflow.start_run () dans un bloc-notes, l’exécution enregistre les métriques et les paramètres dans l’expérience active. Si aucune expérimentation n’est active, Azure Databricks crée une expérience de bloc-notes. Une expérience de bloc-notes partage le même nom et le même ID que son bloc-notes correspondant. L’ID du bloc-notes est l’identificateur numérique à la fin de l' URL et de l’ID du bloc-notes.

Vous pouvez également passer un chemin d’accès d’espace de travail Azure Databricks vers un notebook existant dans mlflow.set_experiment() pour créer une expérience de notebook pour celle-ci.

Pour obtenir des instructions sur l'enregistrement des exécutions dans les expériences de notebook, voir Exemple de journalisation de notebook.

Remarque

Si vous supprimez une expérience de bloc-notes à l’aide de l’API (par exemple, MlflowClient.tracking.delete_experiment() dans Python), le bloc-notes lui-même est déplacé dans le dossier Corbeille.

Afficher les expériences

Chaque expérience à laquelle vous avez accès apparaît sur la page expériences. À partir de cette page, vous pouvez afficher n’importe quelle expérience. Cliquez sur un nom d’expérimentation pour afficher la page de l'expérience.

Autres moyens d'accéder à la page de l'expérience :

• Vous pouvez accéder à la page de test pour une expérience d’espace de travail à partir du menu de l’espace de travail.
• Vous pouvez accéder à la page de test pour une expérience de bloc-notes à partir du Notebook.

Pour rechercher des expériences, tapez du texte dans le champ Filtrer les expériences, puis appuyez sur Entrée ou cliquez sur l’icône de loupe. La liste d’expérimentation change pour afficher uniquement les expériences qui contiennent le texte recherché dans la colonne nom, créé par, emplacement ou description.

Cliquez sur le nom d’une expérimentation dans le tableau pour afficher sa page d’expérimentation :

La page expérience répertorie toutes les exécutions associées à l’expérience. À partir de la table, vous pouvez ouvrir la page exécuter pour toute exécution associée à l’expérience en cliquant sur l'heure de l’exécution. La colonne source vous donne accès à la version du Notebook qui a créé l’exécution. Vous pouvez également rechercher et Filtrer les exécutions par métriques ou paramètres de paramètres.

Afficher une expérience d’espace de travail

1. Dans la barre latérale, cliquez sur Espace de travail.
2. Accédez au dossier qui contient l’expérience.
3. Cliquez sur le nom de l’expérience.

Afficher une expérience de notebook

Dans la barre d’outils de droite du notebook, cliquez sur l’icône Expérience.

L’encadré exécuter l’expérimentation apparaît et affiche un résumé de chaque exécution associée à l’expérience du Notebook, y compris les paramètres et les métriques d’exécution. En haut de la barre latérale figure le nom de l’expérience dans laquelle le dernier bloc-notes s’est connecté (une expérience de bloc-notes ou une expérience de l’espace de travail).

Dans la barre latérale, vous pouvez accéder à la page expérience ou directement à une série de tests.

• Pour visualiser l'expérience, cliquez sur à l'extrême droite, à côté de Exécutions d’expériences.
• Pour afficher une exécution, cliquez sur le nom de l’exécution.

Gérer les expériences

Vous pouvez renommer, supprimer ou gérer des autorisations pour une expérience que vous possédez à partir de la page expériences, de la page expérience ou du menu espace de travail.

Remarque

Vous ne pouvez pas directement renommer, supprimer ou gérer les permissions sur une expérience MLflow qui a été créée par un notebook dans un dossier Databricks Git. Vous devez effectuer ces actions au niveau du dossier Git.

Renommer l’expérience à partir de la page expériences ou de la page expérience

Important

Cette fonctionnalité est disponible en préversion publique.

Pour renommer une expérience à partir de la page des expériences ou de la page de l’expérience, cliquez sur l' et sélectionnez Renommer.

Renommer l’expérience à partir du menu de l’espace de travail

1. Dans la barre latérale, cliquez sur Espace de travail.
2. Accédez au dossier qui contient l’expérience.
3. Faites un clic droit sur le nom de l’expérience et sélectionnez Renommer.

Copier le nom de l’expérience

Pour copier le nom de l'expérience, cliquez sur l' en haut de la page de l'expérience. Vous pouvez utiliser ce nom dans la commande set_experiment MLflow pour définir l’expérience MLflow active.

Vous pouvez également copier le nom de l’expérience à partir de la barre latérale de l’expérience dans un Notebook.

Supprimer une expérience de notebook

Les expériences des Notebooks font partie du bloc-notes et ne peuvent pas être supprimées séparément. Lorsque vous supprimez un bloc-notes, l’expérience du bloc-notes associée est supprimée. Lorsque vous supprimez une expérience de bloc-notes en utilisant l’interface utilisateur, le bloc-notes est également supprimé.

Pour supprimer des expériences de notebook à l’aide de l’API, utilisez l’API Espace de travail pour vous assurer que le bloc-notes et l’expérience sont supprimés de l’espace de travail.

Supprimer l’expérience de l’espace de travail dans le menu de l’espace de travail

1. Dans la barre latérale, cliquez sur Espace de travail.
2. Accédez au dossier qui contient l’expérience.
3. Faites un clic droit sur le nom de l’expérience et sélectionnez Mettre à la corbeille.

Supprimer l’expérience de l’espace de travail ou du Notebook sur la page expériences ou la page expérience

Important

Cette fonctionnalité est disponible en préversion publique.

Pour supprimer une expérience à partir de la page des expériences ou de la page de l’expérience, cliquez sur l' et sélectionnez Supprimer.

Lorsque vous supprimez une expérience de bloc-notes, le bloc-notes est également supprimé.

Modifier les autorisations pour l’expérience

Pour modifier les autorisations d’une expérience à partir de la page expérience, cliquez sur Partager.

Vous pouvez modifier les autorisations d’une expérience dont vous êtes le propriétaire à partir de la page des expériences. Cliquez sur dans la colonne Actions et sélectionnez Autorisation.

Pour obtenir plus d’informations sur les niveaux d’autorisation des expériences, consultez ACL d’expérience MLflow.

Copier des expériences entre des espaces de travail

Pour migrer des expériences MLflow entre des espaces de travail, vous pouvez utiliser le projet open source MLflow Export-Import alimenté par la communauté.

Grâce à ces outils, vous pouvez :

• Partagez et collaborez avec d’autres scientifiques des données dans le même serveur de suivi ou un autre. Par exemple, vous pouvez cloner une expérience d’un autre utilisateur dans votre espace de travail.
• Copiez des expériences et exécutions MLflow de votre serveur de suivi local vers votre espace de travail Databricks.
• Sauvegardez les expériences et modèles stratégiques dans un autre espace de travail Databricks.