Mejora de la calidad de la aplicación de RAG

En este artículo se proporciona información general sobre cómo puede refinar cada componente para aumentar la calidad de la aplicación de generación aumentada de recuperación (RAG).

Hay una gran cantidad de "botones" que ajustar en cada punto de la canalización de datos sin conexión y la cadena RAG en línea. Aunque hay muchos más, el artículo se centra en los botones más importantes y que tienen el mayor impacto en la calidad de la aplicación RAG. Databricks recomienda empezar con estos botones.

Dos tipos de consideraciones de calidad

Desde un punto de vista conceptual, resulta útil ver los botones de calidad RAG a través de la lente de los dos tipos clave de problemas de calidad:

• Calidad de recuperación: ¿Está recuperando la información más relevante para una consulta de recuperación determinada?

  Es difícil generar una salida RAG de alta calidad si al contexto proporcionado al LLM le falta información importante o contiene información superflua.

• Calidad de generación: Dada la información recuperada y la consulta del usuario original, ¿el LLM está generando la respuesta más precisa, coherente y útil posible?

  Los problemas aquí presentes pueden manifestarse como alucinaciones, resultados incoherentes o errores para abordar directamente la consulta del usuario.

Las aplicaciones RAG tienen dos componentes en los que se puede iterar para abordar los desafíos de calidad: la canalización de datos y la cadena. Resulta tentador asumir que hay una división clara entre los problemas de recuperación (simplemente actualizar la canalización de datos) y los problemas de generación (actualizar la cadena RAG). Sin embargo, la realidad tiene más matices. La calidad de la recuperación puede verse afectada por la canalización de datos (por ejemplo, la estrategia de análisis y fragmentación, la estrategia de metadatos, el modelo de inserción) y también por la cadena RAG (por ejemplo, la transformación de consultas de usuario, el número de fragmentos recuperados, la reclasificación). De forma similar, la calidad de la generación se verá invariablemente afectada por una recuperación deficiente (por ejemplo, información irrelevante o ausente que afecte a la salida del modelo).

Esta superposición subraya la necesidad de un enfoque holístico para mejorar la calidad de RAG. Al comprender qué componentes se van a cambiar en la canalización de datos y en la cadena RAG, y cómo afectan estos cambios a la solución general, puede realizar actualizaciones dirigidas para mejorar la calidad de la salida de RAG.

Consideraciones sobre la calidad de la canalización de datos

Consideraciones clave sobre la canalización de datos:

• La composición del corpus de datos de entrada.
• Cómo se extraen y transforman los datos sin procesar en un formato utilizable (por ejemplo, analizar un documento PDF).
• Cómo se dividen los documentos en fragmentos más pequeños y cómo se da formato a esos fragmentos (por ejemplo, estrategia de fragmentación y tamaño de fragmento).
• Los metadatos (como el título de sección o el título del documento) extraídos sobre cada documento o fragmento. Cómo se incluyen estos metadatos (o no) en cada fragmento.
• El modelo de inserción que se usa para convertir texto en representaciones vectoriales para la búsqueda de similitud.

Cadena RAG

• La elección del LLM y sus parámetros (por ejemplo, temperatura y tokens máximos).
• Los parámetros de recuperación (por ejemplo, el número de fragmentos o documentos recuperados).
• El enfoque de recuperación (por ejemplo, palabra clave frente a búsqueda semántica frente a híbrida, reescritura de la consulta del usuario, transformación de la consulta de un usuario en filtros o reclasificación).
• Cómo dar formato a la indicación con el contexto recuperado para guiar al LLM hacia una salida de calidad.

< anterior: gobernanza de aplicaciones RAG & LLMOps

Siguiente: Mejora de la calidad de la canalización de datos >