Paso 5 (recuperación). Cómo depurar la calidad de recuperación
En esta página se describe cómo identificar la causa principal de los problemas de recuperación. Usa esta página cuando el análisis de causa principal indica una de tipo Improve Retrieval.
La calidad de recuperación es posiblemente el componente más importante de una aplicación RAG. Si los fragmentos más relevantes no se devuelven para una consulta determinada, el LLM no tiene acceso a la información necesaria para generar una respuesta de alta calidad. Una recuperación deficiente puede dar lugar a resultados irrelevantes, incompletos o sin sentido. Este paso requiere un esfuerzo manual para analizar los datos subyacentes. Mosaic AI Agent Framework, con su estrecha integración entre la plataforma de datos (incluido Unity Catalog y el vector de búsqueda) y el seguimiento de experimentos con MLflow (incluida la evaluación de LLM y el seguimiento de MLflow), facilita mucho la solución de problemas.
Instrucciones
Siga estos pasos para solucionar problemas de calidad de recuperación:
- Abre el cuaderno B_quality_iteration/01_root_cause_quality_issues.
- Use las consultas para cargar seguimientos de MLflow de los registros que hayan tenido problemas de calidad de recuperación.
- Para cada registro, examine manualmente los fragmentos recuperados. Si están disponibles, compárelos con los documentos de recuperación de la realidad sobre el terreno.
- Busque patrones o problemas comunes entre las consultas con baja calidad de generación. Por ejemplo:
- Falta toda la información pertinente de la base de datos vectorial.
- Número insuficiente de fragmentos o documentos devueltos para una consulta de recuperación.
- Los fragmentos son demasiado pequeños y carecen de contexto suficiente.
- Los fragmentos son demasiado grandes y contienen varios temas no relacionados.
- El modelo de inserción no puede capturar la similitud semántica para términos específicos del dominio.
- En función del problema identificado, formula hipótesis de las posibles causas principales y las correcciones correspondientes. Para obtener instrucciones, consulte Razones comunes de una mala calidad de recuperación.
- Sigue los pasos descritos en Implementar y evaluar los cambios para implementar y evaluar una posible corrección. Esto puede implicar modificar la canalización de datos (por ejemplo, ajustar el tamaño del fragmento o probar un modelo de inserción diferente), o bien modificar la cadena RAG (por ejemplo, implementar la búsqueda híbrida o recuperar más fragmentos).
- Si la calidad de la recuperación sigue sin ser satisfactoria, repita los pasos 4 y 5 en la corrección próxima más prometedora hasta que se logre el rendimiento deseado.
- Vuelva a ejecutar el análisis de la causa principal para determinar si la cadena general tiene causas principales adicionales que se deban solucionar.
Motivos comunes de una mala calidad de recuperación
En la tabla siguiente se muestran los pasos de depuración y las posibles correcciones para problemas comunes de recuperación. Las correcciones se clasifican por componente:
- Data pipeline
- Configuración de cadena
- Código de cadena
El componente define los pasos que debes seguir en el paso Implementar y evaluar los cambios.
| Problema de recuperación | Pasos de depuración | Corrección posible |
|---|---|---|
| Los fragmentos son demasiado pequeños | - Examina los fragmentos en busca de información de corte incompleta. | - Canalización de datos Aumente el tamaño del fragmento o suporpóngalo. - Canalización de datos Pruebe una estrategia de fragmentación diferente. |
| Los fragmentos son demasiado grandes | - Comprueba si los fragmentos recuperados contienen varios temas no relacionados. | - Canalización de datos Reduzca el tamaño del fragmento. - Canalización de datos Mejore la estrategia de fragmentación para evitar la combinación de temas no relacionados (por ejemplo, fragmentación semántica). |
| Los fragmentos no tienen suficiente información sobre el texto del que se tomaron | - Evalúa si la falta de contexto para cada fragmento está causando confusión o ambigüedad en los resultados recuperados. | - Canalización de datos Pruebe a agregar metadatos y títulos a cada fragmento (por ejemplo, títulos de sección). - Configuración de cadena Recupere más fragmentos y utilice un LLM con un tamaño de contexto mayor. |
| El modelo de inserción no entiende con precisión el dominio ni las frases clave en las consultas de usuario. | - Comprueba si se están recuperando fragmentos semánticamente similares para la misma consulta. | - Canalización de datos Pruebe modelos de inserción diferentes. - Configuración de cadena Pruebe la búsqueda híbrida. - Código de cadena Obtenga resultados de recuperación excesivos y vuélvalos a clasificar. Solo se vuelven a clasificar los resultados principales en el contexto de LLM. - Canalización de datos Ajuste el modelo de incorporación en datos específicos del dominio. |
| Falta información relevante de la base de datos vectorial | - Comprueba si faltan documentos o secciones relevantes de la base de datos vectorial. | - Canalización de datos Agregue más documentos relevantes a la base de datos de vectores. - Canalización de datos Mejore el análisis de documentos y la extracción de metadatos. |
| Las consultas de recuperación están mal formuladas | - Si las consultas de usuario se usan directamente para la búsqueda semántica, analiza estas consultas y comprueba si hay ambigüedad o falta de especificidad. Esto puede ocurrir fácilmente en conversaciones multiturno en las que la consulta de usuario sin procesar hace referencia a partes anteriores de la conversación, lo que hace que no sea adecuado usarla directamente como consulta de recuperación. - Compruebe si los términos de consulta coinciden con la terminología usada en el corpus de búsqueda. |
- Código de cadena Agregue enfoques de expansión o transformación de consultas (por ejemplo, dada una consulta de usuario, transforme la consulta antes de la búsqueda semántica). - Código de cadena Agregue comprensión de consultas para identificar la intención y las entidades (por ejemplo, use un LLM para extraer propiedades para usar en el filtrado de metadatos). |
Paso siguiente
Si también ha identificado problemas con la calidad de generación, continúe con el paso 5 (generación). Procedimientos para depurar la calidad de generación.
Si cree que ha resuelto todos los problemas identificados, continúe con el paso 6. Realice y evalúe correcciones de calidad en el agente de IA.
< Anterior: Paso 5. Identificar las causas principales de los problemas de calidad