Supervisión de la calidad del modelo y el estado del punto de conexión
El Servicio de modelos de Mosaic AI proporciona herramientas avanzadas para supervisar la calidad y el estado de los modelos y sus implementaciones. La tabla siguiente es una introducción a cada herramienta de supervisión disponible.
| Herramienta | Descripción | Propósito | Acceder |
|---|---|---|---|
| Registros de servicio | Captura flujos stdout y stderr del punto de conexión de servicio de modelos. |
Resulta útil para la depuración durante la implementación del modelo. Use print(..., flush=true) para la representación inmediata en los registros. |
Accesible mediante la pestaña Registros en la interfaz de usuario de servicio. Los registros se transmiten en tiempo real y se pueden exportar mediante la API. |
| Registros de compilación | Muestra la salida del proceso que crea automáticamente un entorno de Python listo para producción para el punto de conexión de servicio de modelos. | Resulta útil para diagnosticar problemas de dependencia e implementación de modelos. | Disponible al finalizar la compilación de servicio de modelos en Registros de compilación en la pestaña Registros. Los registros se pueden exportar mediante la API. |
| Métricas de estado de punto de conexión | Proporciona conclusiones sobre métricas de infraestructura como las de latencia, tasa de solicitudes, tasa de errores yuso de CPU y memoria. | Son importantes para comprender el rendimiento y el estado de la infraestructura de servicio. | Disponibles de forma predeterminada en la interfaz de usuario de servicio durante los últimos 14 días. Los datos también se pueden transmitir a herramientas de observabilidad en tiempo real. |
| Tablas de inferencia | Registra automáticamente las solicitudes de predicción en línea y las respuestas en tablas Delta administradas por Unity Catalog para modelos personalizados. | Use esta herramienta para supervisar y depurar la calidad del modelo o las respuestas, generar conjuntos de datos de entrenamiento o realizar auditorías de cumplimiento. | Se puede habilitar para los puntos de conexión de modelos existentes y nuevos con un solo clic en la interfaz de usuario del servicio o programáticamente utilizando las API de servicio. |
| Tablas de inferencia habilitadas para la puerta de enlace de AI | Registra automáticamente las solicitudes y respuestas de predicción en línea en tablas Delta administradas por Unity Catalog para puntos de conexión que manejan modelos externos o cargas de trabajo con rendimiento aprovisionado. | Use esta herramienta para supervisar y depurar la calidad del modelo o las respuestas, generar conjuntos de datos de entrenamiento o realizar auditorías de cumplimiento. | Se puede habilitar para los puntos de conexión de servicio de modelos existentes y nuevos al activar las características de AI Gateway mediante la interfaz de usuario de servicio o la API de REST. |