Supervisión continua de aplicaciones de IA generativa
Importante
Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
Los continuos avances de la IA generativa han permitido a las organizaciones crear aplicaciones cada vez más complejas para resolver distintos problemas (bots de chat, sistemas RAG, sistemas de Agentic, etc.). Estas aplicaciones se usan para impulsar la innovación y mejorar no solo las experiencias de los clientes, sino también la toma de decisiones. Aunque los modelos (por ejemplo, GPT-4o) que impulsan estas aplicaciones de IA generativa son extremadamente capaces, la supervisión continua nunca ha sido tan importante para garantizar resultados de alta calidad, seguros y confiables. La supervisión continua es eficaz cuando se usan varias perspectivas al observar una aplicación. Estas perspectivas incluyen el uso y costo de los tokens, las métricas operativas (latencia, recuento de solicitudes, etc.) y, algo que es importante, la evaluación continua. Para más información sobre la evaluación, consulte Evaluación de las aplicaciones de IA generativa.
Azure AI y Azure Monitor ofrecen herramientas para supervisar continuamente el rendimiento de las aplicaciones de IA generativa desde varias perspectivas. Azure AI Online Evaluation permite evaluar continuamente la aplicación, independientemente del lugar en que se implementa o del marco de orquestación que use (por ejemplo, LangChain). Puede usar varios evaluadores de integrados que mantienen la paridad con el SDK de Azure AI Evaluation, o bien definir sus propios evaluadores personalizados. Si se ejecutan continuamente los evaluadores adecuados sobre los datos de seguimiento recopilados, su equipo puede identificar y mitigar con mayor eficacia los problemas de seguridad, calidad y protección cuando surgen, ya sea en la fase de preproducción o de postproducción. Azure AI Online Evaluation proporciona una integración total con el conjunto completo de herramientas de observabilidad disponible en Azure Monitor Application Insights, lo que le permite crear paneles personalizados, visualizar los resultados de la evaluación con el paso del tiempo y configurar alertas para la supervisión avanzada de aplicaciones.
En resumen, dada la complejidad y rápida evolución del sector de la inteligencia artificial nunca ha sido tan importante supervisar las aplicaciones de IA generativa. Azure AI Online Evaluation, que está integrada en Application Insights de Azure Monitor, le permite evaluar continuamente las aplicaciones implementadas para asegurarse de que son eficaces, seguras y generan resultados de alta calidad en producción.
Cómo supervisar las aplicaciones de IA generativa
En esta sección, aprenderá a supervisar las aplicaciones de IA generativa mediante la funcionalidad de seguimiento, evaluación en línea y visualización de seguimiento de Fundición de IA de Azure. A continuación, obtenga información sobre cómo se integra Fundición de IA de Azure con Application Insights de Azure Monitor para una visualización y observabilidad completas.
Seguimiento de aplicaciones de IA generativa
El primer paso de la supervisión continua de su aplicación es asegurarse de que sus datos de telemetría se capturan y almacenan para su análisis. Para ello, tendrá que instrumentar el código de la aplicación de IA generativa para usar el paquete Azure AI Tracing para registrar los datos de seguimiento en el recurso de Azure Monitor Application Insights que prefiera. Este paquete se ajusta completamente al estándar OpenTelemetry para la observabilidad. Después de instrumentar el código de la aplicación, los datos de seguimiento se registrarán en el recurso de Application Insights.
Tras incluir el seguimiento en el código de la aplicación, los datos de seguimiento se pueden ver en Azure AI Foundry o en el recurso de Azure Monitor Application Insights. Para más información sobre cómo hacerlo, consulte Supervisión de su aplicación de IA generativa.
Configurar evaluación en línea
Después de configurar el seguimiento de la aplicación de IA generativa, configure la evaluación en línea con el SDK de Fundición de IA de Azure para evaluar continuamente los datos de seguimiento a medida que se recopilan. Si lo hace, podrá supervisar el rendimiento de la aplicación en producción a lo largo del tiempo.
Nota:
Si tiene varias aplicaciones de IA que registran datos de seguimiento en el mismo recurso de Application Insights de Azure Monitor, se recomienda usar el nombre del servicio para diferenciar los datos de la aplicación en Application Insights. Para obtener información sobre cómo establecer el nombre del servicio, consulte Seguimiento de Azure AI. Para obtener información sobre cómo consultar el nombre del servicio en la configuración de evaluación en línea, consulte Uso del nombre del servicio en los datos de seguimiento.
Supervisar la aplicación de IA generativa con Application Insights de Azure Monitor
En esta sección, obtendrá información sobre cómo se integra Azure AI con Azure Monitor Application Insights para proporcionarle una vista de panel integrada que se adapte a la información sobre la aplicación de IA generativa, con el fin de que conozca en todo momento el estado más reciente de la aplicación.
Información de la aplicación de IA generativa
Si no la ha configurado, estos son algunos pasos rápidos para hacerlo:
- Vaya al proyecto en el portal de Azure AI Foundry.
- Seleccione la página Seguimiento en el lado izquierdo.
- Conecte el recurso de Application Insights al proyecto.
Si ya ha configurado el seguimiento en Estudio de IA de Azure, lo único que debe hacer es seleccionar el vínculo a Consultar el panel de la aplicación Insights for Generative AI.
Una vez que tenga el streaming de datos en el recurso de Application Insights, podrá ver que se rellena automáticamente en este panel personalizado.
Esta vista es un excelente lugar para empezar a trabajar con sus necesidades de supervisión.
- Puede ver el consumo de tokens a lo largo del tiempo para saber si necesita aumentar los límites de uso o realizar análisis de costos adicionales.
- Puede ver las métricas de evaluación como líneas de tendencia para conocer la calidad de la aplicación diariamente.
- Puede depurar cuándo se producen las excepciones y profundizar en los seguimientos desde la vista de detalles de la transacción de un extremo a otro de Azure Monitor para averiguar lo que salió mal.
Se trata de un libro de Azure que consulta los datos almacenados en su recurso de Application Insights. Este libro se puede personalizar y adaptar a las necesidades empresariales. Para más información, consulte cómo editar libros de Azure.
Esto le permite agregar evaluadores personalizados adicionales que podría haber registrado u otro texto de markdown para compartir resúmenes y usarlos para informes.
También puede compartir este libro con su equipo, con el fin de que se mantengan informados con la versión más reciente.
Nota:
Al compartir este libro con los miembros del equipo, deben tener al menos el rol "Lector" en el recurso de Application Insights conectado para ver la información mostrada.