Diseño de la supervisión
Como parte de una arquitectura de operaciones de aprendizaje automático (MLOps), debe pensar en cómo supervisar la solución de aprendizaje automático.
La supervisión es beneficiosa en cualquier entorno de MLOps. Le interesará supervisar el modelo, los datos y la infraestructura para recopilar métricas que le ayuden a decidir los pasos siguientes necesarios.
Supervisión del modelo
Lo habitual es que quiera supervisar el rendimiento del modelo. Durante el desarrollo, se usa MLflow para entrenar los modelos de aprendizaje automático y realizar un seguimiento de ellos. En función del modelo que entrene, hay diferentes métricas que puede usar para evaluar si el modelo funciona según lo esperado.
Para supervisar un modelo en producción, puede usar el modelo entrenado para generar predicciones sobre un pequeño subconjunto de nuevos datos entrantes. Al generar métricas de rendimiento de esos datos de prueba, puede comprobar si el modelo sigue logrando su objetivo.
Además, también puede supervisar los problemas de inteligencia artificial (IA) responsables. Por ejemplo, si el modelo hace predicciones justas.
Para poder supervisar un modelo, es importante decidir qué métricas de rendimiento quiere supervisar y cuál debe ser el punto de referencia de cada métrica. ¿Cuándo hay que avisar de que el modelo ya no es exacto?
Supervisión de los datos
Normalmente los modelos de aprendizaje automático se entrenan con un conjunto de datos histórico que es representativo de los nuevos datos que el modelo recibe cuando se implementa. Pero con el tiempo puede haber tendencias que cambien el perfil de los datos, lo que hará que el modelo sea menos preciso.
Por ejemplo, supongamos que un modelo está entrenado para predecir la previsión de consumo de combustible por kilómetro de un vehículo en función de su cilindrada, tamaño, peso y otras características. Con el tiempo, a medida que las tecnologías de motor y fabricación de automóviles progresan, es posible que la autonomía habitual de los vehículos mejore drásticamente, con lo que las predicciones realizadas por el modelo entrenado con datos más antiguos son menos precisas.
Este cambio en los perfiles de datos entre los datos actuales y los de entrenamiento se conoce como "desfase de datos" y puede ser un problema importante para los modelos predictivos que se usan en producción. Por tanto, es importante poder supervisar el desfase de datos en el tiempo y volver a entrenar los modelos si es necesario para mantener la precisión de las predicciones.
Supervisión de la infraestructura
Junto a la supervisión del modelo y los datos, también debe supervisar la infraestructura para minimizar el costo y optimizar el rendimiento.
A lo largo del ciclo de vida de aprendizaje automático, se usa el proceso para entrenar e implementar modelos. Con los proyectos de aprendizaje automático en la nube, el proceso puede suponer uno de los mayores gastos. Por lo tanto, desea supervisar si usa el proceso de forma eficaz.
Por ejemplo, puede supervisar el uso del proceso durante el entrenamiento y durante la implementación. Al revisar el uso de proceso, se sabe si se puede reducir verticalmente el proceso aprovisionado o si es necesario escalarlo horizontalmente para evitar restricciones de capacidad.
Sugerencia
Más información sobre la supervisión del área de trabajo de Azure Machine Learning y sus recursos.