Etapa 5 (recuperação). Como depurar a qualidade da recuperação
Esta página descreve como identificar a causa raiz dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Retrieval
.
A qualidade da recuperação é, sem dúvida, o componente mais importante de um aplicativo RAG. Se as partes mais relevantes não forem retornadas para uma determinada consulta, o LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. Uma recuperação ruim pode levar a uma saída irrelevante, incompleta ou com alucinações. Esta etapa requer esforço manual para analisar os dados subjacentes. O Mosaic AI Agent Framework, com sua integração estreita entre a plataforma de dados (incluindo o Catálogo do Unity e a Busca em Vetores) e o rastreamento de experimentos com MLflow (incluindo avaliação de LLM e rastreamento com MLflow), torna a solução de problemas muito mais fácil.
Instruções
Siga estas etapas para resolver problemas de qualidade da recuperação:
- Abra o notebook B_quality_iteration/01_root_cause_quality_issues.
- Use as consultas para carregar os rastreamentos do MLflow dos registros que tiveram problemas de qualidade na recuperação.
- Para cada registro, examine manualmente as partes recuperadas. Se disponível, compare-os com os documentos de recuperação de verdade fundamental.
- Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
- Informações relevantes estão totalmente ausentes do banco de dados vetorial.
- Número insuficiente de partes ou documentos retornados para uma consulta de recuperação.
- As partes são muito pequenas e não têm contexto suficiente.
- As partes são muito grandes e contêm vários tópicos não relacionados.
- O modelo de inserção falha ao capturar a similaridade semântica para termos específicos do domínio.
- Com base no problema identificado, formule hipóteses sobre as possíveis causas raiz e correções correspondentes. Para obter as diretrizes, consulte os Motivos comuns para a baixa qualidade da recuperação.
- Siga as etapas em Implementar e avaliar as alterações para implementar e avaliar uma possível correção. Isso pode envolver modificar o pipeline de dados (por exemplo, ajustando o tamanho da parte ou tentando um modelo de inserção diferente) ou modificar a cadeia RAG (por exemplo, implementando busca híbrida ou recuperando mais partes).
- Se a qualidade da recuperação ainda não estiver satisfatória, repita as etapas 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
- Execute novamente a análise de causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deve ser tratada.
Motivos comuns para a qualidade ruim da recuperação
A tabela a seguir lista as etapas de depuração e possíveis correções para problemas comuns na recuperação. As correções são categorizadas por componente:
- Pipeline de dados
- Configuração de cadeia
- Código de cadeia
O componente define quais etapas você deve seguir na etapa para implementar e avaliar as alterações.
Problema de recuperação | Etapas de depuração | Possível correção |
---|---|---|
As partes são muito pequenas | - Examine as partes para obter informações recortadas incompletas. | - Pipeline de dados Aumente o tamanho ou a sobreposição da parte. - Pipeline de dados Tente uma estratégia diferente de agrupamento. |
As partes são muito grandes | - Verifique se as partes recuperadas contêm vários tópicos não relacionados. | - Pipeline de dados Diminua o tamanho da parte. - Pipeline de dados Melhore a estratégia de agrupamento para evitar a mistura de tópicos não relacionados (p. ex., agrupamento semântico). |
As partes não têm informações suficientes sobre o texto do qual foram tiradas | - Avalie se a falta de contexto para cada parte está causando confusão ou ambiguidade nos resultados recuperados. | - Pipeline de dados Tente adicionar metadados e títulos a cada parte (p. ex., títulos de seção). - Configuração de cadeia Recupere mais partes e use um LLM com tamanho de contexto maior. |
O modelo de inserção não entende com precisão o domínio ou as frases-chave nas consultas do usuário | - Verifique se as partes semanticamente semelhantes estão sendo recuperadas para a mesma consulta. | - Pipeline de dados Experimente diferentes modelos de inclusão. - Configuração de cadeia Experimente a pesquisa híbrida. - Código de cadeia Faça a busca excessiva e reclassifique dos resultados da recuperação. Alimente apenas os principais resultados reclassificados no contexto do LLM. - Pipeline de dados Ajuste o modelo de inclusão com base em dados específicos do domínio. |
Informações relevantes ausentes do banco de dados vetorial | - Verifique se há documentos ou seções relevantes ausentes no banco de dados vetorial. | - Pipeline de dados Adicione mais documentos relevantes ao banco de dados vetorial. - Pipeline de dados Melhore a análise de documentos e a extração de metadados. |
As consultas de recuperação são mal formuladas | - Se as consultas de usuário estiverem sendo usadas diretamente para pesquisa semântica, analise essas consultas e verifique se há ambiguidade ou falta de especificidade. Isso pode ocorrer facilmente em conversas com várias rodadas, onde a consulta bruta do usuário menciona partes anteriores da conversa de forma direta, tornando-a inadequada para uso direto como consulta de recuperação. - Verifique se os termos da consulta correspondem à terminologia usada no corpo da pesquisa. |
- Código de cadeia Adicione abordagens de expansão ou transformação de consulta (p. ex., para uma consulta de usuário, transformar a consulta antes da pesquisa semântica). - Código de cadeia Adicione a compreensão da consulta para identificar a intenção e as entidades (p. ex., use um LLM para extrair propriedades a serem usadas na filtragem de metadados). |
Próxima etapa
Se você também identificou problemas com a qualidade da geração, continue na Etapa 5 (geração). Como depurar a qualidade da geração.
Se você acha que resolveu todos os problemas identificados, continue com a Etapa 6. Faça e avalie correções de qualidade no agente de IA.
< Anterior: Passo 5. Identifique as causas raiz dos problemas de qualidade