Organización de ejecuciones de entrenamiento con experimentos de MLflow

Los experimentos son unidades de organización para las ejecuciones de entrenamiento del modelo. Hay dos tipos de experimentos: de área de trabajo y de cuaderno.

• Puede crear un experimento de área de trabajo desde la interfaz de usuario de Databricks Mosaic AI o desde la API de MLflow. Los experimentos de área de trabajo no están asociados a ningún cuaderno y cualquier cuaderno puede registrar una ejecución en estos experimentos mediante el identificador del experimento o el nombre del experimento.
• Un experimento de cuaderno está asociado a un cuaderno específico. Azure Databricks crea automáticamente un experimento de cuaderno si no hay ningún experimento activo al iniciar una ejecución mediante mlflow.start_run().

Para ver todos los experimentos accesibles de un área de trabajo, seleccione Machine Learning > Experimentos en la barra lateral.

Creación del experimento del área de trabajo

En esta sección se describe cómo crear un experimento de área de trabajo mediante la interfaz de usuario de Azure Databricks. Puede crear un experimento de área de trabajo directamente desde el área de trabajo o desde la página Experimentos.

También puede usar la API de MLflow o el proveedor de Databricks Terraform con databricks_mlflow_experiment.

Para obtener instrucciones sobre las ejecuciones de registros en experimentos de área de trabajo, consulte Cuaderno de ejemplo de registro.

1. Haga clic en Área de trabajo en la barra lateral.

2. Vaya a la carpeta en la que quiere crear el experimento.

3. Haga clic con el botón derecho en la carpeta y seleccione Crear > Experimento de MTflow.

4. En el cuadro de diálogo Create MLflow Experiment (Crear experimento de MLflow), escriba un nombre para el experimento y una ubicación de artefacto opcional. Si no especifica una ubicación de artefacto, los artefactos se almacenan en el almacenamiento de artefactos administrados por MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks admite volúmenes de Unity Catalog, Azure Blob Storage y ubicaciones de artefactos de Azure Data Lake Storage.

   En MLflow 2.15.0 y versiones posteriores, puede almacenar artefactos en un volumen de catálogo de Unity. Al crear un experimento de MLflow, especifique una ruta de acceso de volúmenes del formulario dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path como ubicación del artefacto del experimento de MLflow.

   Para almacenar artefactos en Azure Blob Storage, especifique un URI con el formato wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Los artefactos almacenados en Azure Blob Storage no aparecen en la interfaz de usuario de MLflow; debe descargarlos mediante un cliente de Blob Storage.

   Nota:

   Cuando se almacena un artefacto en una ubicación que no sea DBFS, el artefacto no aparece en la interfaz de usuario de MLflow. Los modelos almacenados en ubicaciones distintas de DBFS no se pueden registrar en el Registro de modelos.

5. Haga clic en Crear. Aparece un experimento vacío.

También puede crear un nuevo experimento de área de trabajo en la página Experimentos. Para crear un experimento, use el menú desplegable . En el menú desplegable, puede seleccionar un experimento de AutoML o un experimento en blanco (vacío).

• Experimento de AutoML. Aparece la página Configurar experimento de AutoML. Para obtener información sobre el uso de AutoML, consulte ¿Qué es AutoML?.

• Experimento en blanco. Aparece el cuadro de diálogo Create MLflow Experiment (Crear experimento de MLflow). Escriba un nombre y una ubicación de artefacto opcional en el cuadro de diálogo para crear un experimento de área de trabajo. La ubicación predeterminada del artefacto es dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Para registrar ejecuciones en este experimento, llame a mlflow.set_experiment() con la ruta de acceso del experimento. La ruta de acceso del experimento aparece en la parte superior de la página del experimento. Consulte Cuaderno de ejemplo de registro para más información y para ver un cuaderno de ejemplo.

Creación de un experimento de cuaderno

Cuando se usa el comando mlflow.start_run() en un cuaderno, la ejecución registra métricas y parámetros en el experimento activo. Si no hay ningún experimento activo, Azure Databricks crea un experimento de cuaderno. Un experimento de cuaderno comparte el mismo nombre e identificador que su cuaderno correspondiente. El identificador de cuaderno es el identificador numérico al final de una dirección URL y un identificador del cuaderno.

Como alternativa, puede pasar una ruta de acceso del área de trabajo de Azure Databricks a un cuaderno existente en mlflow.set_experiment() para crear un experimento de cuaderno para él.

Para ver instrucciones sobre los registros de ejecuciones en experimentos de cuadernos, consulte Cuaderno de ejemplo de registro.

Nota:

Si elimina un experimento de cuaderno mediante la API (por ejemplo, MlflowClient.tracking.delete_experiment() en Python), el propio cuaderno se mueve a la carpeta de la papelera.

Visualización de experimentos

Cada experimento al que tiene acceso aparece en la página de experimentos. En esta página, puede ver cualquier experimento. Haga clic en el nombre de un experimento para mostrar la página del experimento.

Métodos adicionales de acceder a la página del experimento:

• Puede acceder a la página del experimento de un experimento de área de trabajo desde el menú del área de trabajo.
• Puede acceder a la página del experimento de un experimento de cuaderno desde el cuaderno.

Para buscar experimentos, escriba texto en el campo Filtrar experimentos y presione Entrar o haga clic en el icono de lupa. La lista de experimentos cambia para mostrar solo los experimentos que contienen el texto de búsqueda en las columnas Nombre, Autor, Ubicación o Descripción.

Haga clic en el nombre de cualquier experimento de la tabla para mostrar su página del experimento:

En la página del experimento se enumeran todas las ejecuciones asociadas al experimento. En la tabla, puede abrir la página de ejecución de cualquier ejecución asociada al experimento haciendo clic en su nombre de ejecución. La columna Origen proporciona acceso a la versión del cuaderno que creó la ejecución. También puede buscar y filtrar ejecuciones por métricas o configuración de parámetros.

Visualización del experimento de área de trabajo

1. Haga clic en Área de trabajo en la barra lateral.
2. Vaya a la carpeta que contiene el experimento.
3. Haga clic en el nombre del experimento.

Visualización del experimento de cuaderno

En la barra lateral derecha del cuaderno, haga clic en el icono de Experimento.

Aparece la barra lateral de ejecuciones de experimento, con un resumen de cada ejecución asociada al experimento del cuaderno, incluidos los parámetros de ejecución y las métricas. En la parte superior de la barra lateral se encuentra el nombre del experimento en el que se ejecuta el cuaderno registrado más recientemente (un experimento de cuaderno o de área de trabajo).

En la barra lateral, puede ir a la página del experimento o directamente a una ejecución.

• Para ver el experimento, haga clic en (Vínculo externo) en el extremo derecho, junto a Experiment Runs (Ejecuciones de experimento).
• Para mostrar una ejecución, haga clic en el nombre de la ejecución.

Administrar experimentos

Puede cambiar el nombre, eliminar o administrar los permisos de un experimento que tenga desde la página de experimentos, la página del experimento o el menú del área de trabajo.

Nota:

No se puede cambiar el nombre, eliminar o administrar directamente los permisos en un experimento de MLflow creado por un cuaderno en una carpeta de Git de Databricks. Debe realizar estas acciones en el nivel de carpeta de Git.

Cambio de nombre del experimento desde la página de experimentos o la página del experimento

Importante

Esta característica está en versión preliminar pública.

Para cambiar el nombre de un experimento desde la página de experimentos o la página del experimento, haga clic en y seleccione Cambiar nombre.

Cambio de nombre del experimento desde el menú del área de trabajo

1. Haga clic en Área de trabajo en la barra lateral.
2. Vaya a la carpeta que contiene el experimento.
3. Haga clic con el botón derecho en el nombre del experimento y seleccione Cambiar nombre.

Copia del nombre del experimento

Para copiar el nombre del experimento, haga clic en en la parte superior de la página del experimento. Puede usar este nombre en el comando set_experiment de MLflow para establecer el experimento de MLflow activo.

También puede copiar el nombre del experimento desde la barra lateral del experimento de un cuaderno.

Eliminación de un experimento de cuaderno

Los experimentos de cuaderno forman parte del cuaderno y no se pueden eliminar por separado. Al eliminar un cuaderno, se elimina el experimento de cuaderno asociado. Al eliminar un experimento de cuaderno mediante la interfaz de usuario, también se elimina el cuaderno.

Para eliminar experimentos de cuadernos mediante la API, use Workspace API para asegurarse de que tanto el cuaderno como el experimento se eliminan del área de trabajo.

Eliminación del experimento de área de trabajo desde el menú del área de trabajo

1. Haga clic en Área de trabajo en la barra lateral.
2. Vaya a la carpeta que contiene el experimento.
3. Haga clic con el botón derecho en el nombre del experimento y seleccione Mover a la papelera.

Eliminación del experimento de área de trabajo o de cuaderno desde la página de experimentos o de la página del experimento

Importante

Esta característica está en versión preliminar pública.

Para eliminar un experimento desde la página de experimentos o la página del experimento, haga clic en y seleccione Eliminar.

Al eliminar un experimento de cuaderno, también se elimina el cuaderno.

Cambio de los permisos del experimento

Para cambiar los permisos de un experimento desde la página del experimento, haga clic en Share.

Puede cambiar los permisos de un experimento de su propiedad desde la página de experimentos. Haga clic en el en la columna Acciones y seleccione Permiso.

Para más información sobre los niveles de permisos del experimento, consulte ACL del experimento de MLflow.

Copia de experimentos entre áreas de trabajo

Para migrar experimentos de MLflow entre áreas de trabajo, puede usar el proyecto MLflow Export-Import controlado por la comunidad de código abierto.

Con estas herramientas puede realizar lo siguiente:

• Comparta y colabore con otros científicos de datos en el mismo servidor de seguimiento u otro servidor de seguimiento. Por ejemplo, puede clonar un experimento de otro usuario en el área de trabajo.
• Copie los experimentos de MLflow y ejecútelos desde el servidor de seguimiento local al área de trabajo de Databricks.
• Realice una copia de seguridad de experimentos y modelos críticos en otro área de trabajo de Databricks.