Paso 5 (generación). Procedimientos para depurar la calidad de la generación
En esta página se describe cómo identificar la causa principal de los problemas de generación. Usa esta página cuando el análisis de causa principal indica una de tipo Improve Generation
.
Incluso con una recuperación óptima, si el componente LLM de una cadena RAG no puede utilizar eficazmente el contexto recuperado para generar respuestas precisas, coherentes y pertinentes, la calidad final de la salida se verá afectada. Algunas de las formas en que los problemas con la calidad de la generación pueden aparecer incluyen alucinaciones, incoherencias o errores para abordar concisamente la consulta del usuario.
Instrucciones
Sigue estos pasos para solucionar problemas de calidad de la generación:
- Abre el cuaderno B_quality_iteration/01_root_cause_quality_issues.
- Usa las consultas para cargar seguimientos de MLflow de los registros que han tenido problemas de calidad de la generación.
- Para cada registro, examina manualmente la respuesta generada y compárala con el contexto recuperado y la respuesta de verdad fundamental.
- Busca patrones o problemas comunes entre las consultas con baja calidad de generación. Por ejemplo:
- Generar información que no esté presente en el contexto recuperado.
- Generar información que no sea coherente con el contexto recuperado (alucinación).
- Error al abordar directamente la consulta del usuario según el contexto recuperado proporcionado.
- Generar respuestas excesivamente detalladas, difíciles de entender o que carecen de coherencia lógica.
- En función del problema identificado, formula hipótesis de las posibles causas principales y las correcciones correspondientes. Para obtener instrucciones, consulta Razones comunes por las que la calidad de la generación es deficiente.
- Sigue los pasos descritos en Implementar y evaluar los cambios para implementar y evaluar una posible corrección. Esto puede implicar la modificación de la cadena RAG (por ejemplo, ajustar la plantilla de solicitud o probar un LLM diferente) o la canalización de datos (por ejemplo, ajustar la estrategia de fragmentación para proporcionar más contexto).
- Si la calidad de la generación sigue sin ser satisfactoria, repite los pasos 4 y 5 en la corrección próxima más prometedora hasta que se logre el rendimiento deseado.
- Vuelve a ejecutar el análisis de la causa principal para determinar si la cadena general tiene causas principales adicionales que se deben solucionar.
Razones comunes por las que la calidad de la generación es deficiente
En la tabla siguiente se muestran los pasos de depuración y las posibles correcciones para problemas comunes de generación. Las correcciones se clasifican por componente:
- Configuración de cadena
- Código de cadena
El componente define los pasos que debes seguir en el paso Implementar y evaluar los cambios.
Importante
Databricks recomienda usar la ingeniería de indicaciones para recorrer en iteración la calidad de las salidas de la aplicación. La mayoría de los pasos siguientes usan la ingeniería de indicaciones.
Problema de generación | Pasos de depuración | Corrección posible |
---|---|---|
La información generada no se encuentra en el contexto recuperado (como las alucinaciones). | - Compare las respuestas generadas en el contexto recuperado para identificar información alucinada. - Evalúa si ciertos tipos de consultas o contexto recuperado son más propensos a las alucinaciones. |
- Configuración de cadena Actualice la plantilla de indicación para resaltar la dependencia del contexto recuperado. - Configuración de cadena Utilice un LLM con mayor capacidad. - Código de cadena Implemente un paso posterior a la comprobación de hechos o comprobación. |
Error al abordar directamente la consulta del usuario o proporcionar respuestas excesivamente genéricas | - Compara las respuestas generadas en las consultas de usuario para evaluar la relevancia y la especificidad. - Comprueba si determinados tipos de consultas dan como resultado el contexto correcto que se recupera, pero el LLM produce una salida de baja calidad. |
- Configuración de cadena Mejore la plantilla de indicación para fomentar respuestas directas y específicas. - Configuración de cadena Recupere contexto más segmentado mediante la mejora del proceso de recuperación. - Código de cadena Reclasifique los resultados de recuperación para colocar primero los fragmentos más relevantes y solo proporcionar estos al LLM. - Configuración de cadena Utilice un LLM con mayor capacidad. |
Las respuestas generadas son difíciles de comprender o carecen de un flujo lógico | - Evalúa la salida para el flujo lógico, la corrección gramatical y la comprensión. - Analiza si la incoherencia se produce con más frecuencia con determinados tipos de consultas o cuando se recuperan determinados tipos de contexto. |
- Configuración de cadena Cambie la plantilla de indicación para fomentar una respuesta coherente y bien estructurada. - Configuración de cadena Proporcione más contexto al LLM mediante la recuperación de más fragmentos relevantes. - Configuración de cadena Utilice un LLM con mayor capacidad. |
Las respuestas generadas no están en el formato o estilo deseados | - Compara la salida con las directrices de formato y estilo esperadas. - Evalúa si es más probable que determinados tipos de consultas o contexto recuperado produzcan desviaciones de formato o estilo. |
- Configuración de cadena Actualice la plantilla de indicaciones para especificar el formato y el estilo de salida deseados. - Código de cadena Implemente un paso de posprocesamiento para convertir la respuesta generada en el formato deseado. - Código de cadena Agregue un paso para validar el estilo y la estructura de salida y generar una respuesta de reserva si es necesario. - Configuración de cadena Utilice un LLM ajustado para proporcionar salidas en un formato o estilo específicos. |
Paso siguiente
Si también has identificado problemas con la calidad de recuperación, continúa con el Paso 5 (recuperación). Procedimientos para depurar la calidad de recuperación.
Si cree que ha resuelto todos los problemas identificados, continúe con el paso 6. Realice y evalúe correcciones de calidad en el agente de IA.
< Anterior: Paso 5.1. Calidad de recuperación de depuración
Siguiente: Paso 6. Corrección iterativa de problemas de calidad >