Paso 7. Implementar y supervisar
En este artículo se proporcionan instrucciones generales sobre cómo implementar y supervisar la aplicación RAG de prueba de concepto.
Ahora que ha creado su POC de RAG, la ha evaluado y ha mejorado su calidad, es el momento de implementar la aplicación RAG en producción. Es importante tener en cuenta que esto no significa que haya terminado de supervisar el rendimiento y recopilar comentarios. La iteración de la calidad sigue siendo muy importante, incluso después de la implementación, ya que los patrones de datos y uso pueden cambiar con el tiempo.
Con Databricks, la cadena está lista para implementarse tal cual mediante el servicio de agente de Mosaic AI. Consulte Implementación de un agente para la aplicación de IA generativa para obtener instrucciones.
Implementación
Una implementación adecuada es fundamental para garantizar el buen funcionamiento y el éxito de la solución RAG. A continuación, se indican consideraciones críticas que debe tener en cuenta al implementar la aplicación RAG:
- Identificación de puntos de integración clave
- Analice los sistemas y flujos de trabajo existentes para determinar dónde y cómo se debe integrar la solución RAG.
- Evalúe si ciertas integraciones son más críticas o complejas que otras y establezca prioridades en consecuencia.
- Implementación del control de versiones y la escalabilidad
- Configure un sistema de control de versiones para los modelos a fin de permitir un seguimiento sencillo y reversiones.
- Diseñe la arquitectura de implementación para controlar las cargas crecientes y escalar de forma eficaz aprovechando herramientas como Databricks Model Serving.
- Garantía de la seguridad y el control de acceso
- Siga los procedimientos recomendados de seguridad al implementar la solución RAG (por ejemplo, proteger los puntos de conexión y los datos confidenciales).
- Implemente los mecanismos de control de acceso adecuados para garantizar que solo los usuarios autorizados puedan interactuar con la solución RAG.
Supervisión
Una vez que haya implementado la aplicación RAG, será esencial supervisar su rendimiento. El uso real puede revelar problemas que pueden no haber sido evidentes durante las pruebas y la evaluación anteriores. Además, el cambio de datos y requisitos puede afectar al rendimiento de la aplicación a lo largo del tiempo. A continuación, se muestran procedimientos de supervisión importantes que se deben seguir:
- Establecimiento de métricas de supervisión y registro
- Defina métricas clave de rendimiento para supervisar el estado y la eficacia de la solución RAG, como la precisión, los tiempos de respuesta y el uso de recursos.
- Implemente un registro completo para capturar eventos, errores e interacciones de usuario importantes con fines de depuración y mejora.
- Configuración de alertas y canales de comentarios
- Configure alertas para recibir notificaciones de anomalías o problemas críticos, lo que permitirá la resolución proactiva de problemas.
- Proporcione canales para que los usuarios envíen comentarios sobre la solución RAG y revise y aborde periódicamente esos comentarios.
- Supervisión y mejora continuas
- Analice continuamente el rendimiento de la solución RAG mediante las métricas de supervisión establecidas.
- Use información obtenida de la supervisión para impulsar mejoras iterativas y optimizaciones en la solución RAG.
- Realización de comprobaciones de estado periódicas
- Programe comprobaciones de estado periódicas para identificar y solucionar de forma proactiva los posibles problemas antes de que afecten a los usuarios.
- Evalúe si ciertos componentes o integraciones son más propensos a problemas y requieren una supervisión más exhaustiva.
< Anterior: Paso 6.1. Corrección de la canalización de datos