Supervisión de la calidad del modelo y el estado del punto de conexión
El Servicio de modelos de Mosaic AI proporciona herramientas avanzadas para supervisar la calidad y el estado de los modelos y sus implementaciones. La tabla siguiente es una introducción a cada herramienta de supervisión disponible.
| Herramienta | Descripción | Propósito | Acceder |
|---|---|---|---|
| Registros de servicio | Captura flujos stdout y stderr del punto de conexión de servicio de modelos. |
Resulta útil para la depuración durante la implementación del modelo. Use print(..., flush=true) para la representación inmediata en los registros. |
Accesible mediante la pestaña Registros en la interfaz de usuario de servicio. Los registros se transmiten en tiempo real y se pueden exportar mediante la API. |
| Registros de compilación | Muestra la salida del proceso que crea automáticamente un entorno de Python listo para producción para el punto de conexión de servicio de modelos. | Resulta útil para diagnosticar problemas de dependencia e implementación de modelos. | Disponible al finalizar la compilación de servicio de modelos en Registros de compilación en la pestaña Registros. Los registros se pueden exportar mediante la API. |
| Métricas de estado de punto de conexión | Proporciona conclusiones sobre métricas de infraestructura como las de latencia, tasa de solicitudes, tasa de errores yuso de CPU y memoria. | Son importantes para comprender el rendimiento y el estado de la infraestructura de servicio. | Disponibles de forma predeterminada en la interfaz de usuario de servicio durante los últimos 14 días. Los datos también se pueden transmitir a herramientas de observabilidad en tiempo real. |
| Tablas de inferencia | Registran automáticamente solicitudes de predicción en línea y las respuestas en tablas Delta administradas por Unity Catalog. | Use esta herramienta para supervisar y depurar la calidad del modelo o las respuestas, generar conjuntos de datos de entrenamiento o realizar auditorías de cumplimiento. | Se pueden habilitar para los puntos de conexión existentes y nuevos del servicio de modelos mediante un solo clic en la interfaz de usuario o la API. |