Compartilhar via


Etapa 5 (recuperação). Como depurar a qualidade da recuperação

Esta página descreve como identificar a causa raiz dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa raiz Improve Retrieval.

A qualidade da recuperação é, sem dúvida, o componente mais importante de um aplicativo RAG. Se as partes mais relevantes não forem retornadas para uma determinada consulta, o LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. Uma recuperação ruim pode levar a uma saída irrelevante, incompleta ou com alucinações. Esta etapa requer esforço manual para analisar os dados subjacentes. O Mosaic AI Agent Framework, com sua integração estreita entre a plataforma de dados (incluindo o Catálogo do Unity e a Busca em Vetores) e o rastreamento de experimentos com MLflow (incluindo avaliação de LLM e rastreamento com MLflow), torna a solução de problemas muito mais fácil.

Instruções

Siga estas etapas para resolver problemas de qualidade da recuperação:

  1. Abra o notebook B_quality_iteration/01_root_cause_quality_issues.
  2. Use as consultas para carregar os rastreamentos do MLflow dos registros que tiveram problemas de qualidade na recuperação.
  3. Para cada registro, examine manualmente as partes recuperadas. Se disponível, compare-os com os documentos de recuperação de verdade fundamental.
  4. Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
    • Informações relevantes estão totalmente ausentes do banco de dados vetorial.
    • Número insuficiente de partes ou documentos retornados para uma consulta de recuperação.
    • As partes são muito pequenas e não têm contexto suficiente.
    • As partes são muito grandes e contêm vários tópicos não relacionados.
    • O modelo de inserção falha ao capturar a similaridade semântica para termos específicos do domínio.
  5. Com base no problema identificado, formule hipóteses sobre as possíveis causas raiz e correções correspondentes. Para obter as diretrizes, consulte os Motivos comuns para a baixa qualidade da recuperação.
  6. Siga as etapas em Implementar e avaliar as alterações para implementar e avaliar uma possível correção. Isso pode envolver modificar o pipeline de dados (por exemplo, ajustando o tamanho da parte ou tentando um modelo de inserção diferente) ou modificar a cadeia RAG (por exemplo, implementando busca híbrida ou recuperando mais partes).
  7. Se a qualidade da recuperação ainda não estiver satisfatória, repita as etapas 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
  8. Execute novamente a análise de causa raiz para determinar se a cadeia geral tem alguma causa raiz adicional que deve ser tratada.

Motivos comuns para a qualidade ruim da recuperação

A tabela a seguir lista as etapas de depuração e possíveis correções para problemas comuns na recuperação. As correções são categorizadas por componente:

  • Pipeline de dados
  • Configuração de cadeia
  • Código de cadeia

O componente define quais etapas você deve seguir na etapa para implementar e avaliar as alterações.

Problema de recuperação Etapas de depuração Possível correção
As partes são muito pequenas - Examine as partes para obter informações recortadas incompletas. - Pipeline de dados Aumente o tamanho ou a sobreposição da parte.
- Pipeline de dados Tente uma estratégia diferente de agrupamento.
As partes são muito grandes - Verifique se as partes recuperadas contêm vários tópicos não relacionados. - Pipeline de dados Diminua o tamanho da parte.
- Pipeline de dados Melhore a estratégia de agrupamento para evitar a mistura de tópicos não relacionados (p. ex., agrupamento semântico).
As partes não têm informações suficientes sobre o texto do qual foram tiradas - Avalie se a falta de contexto para cada parte está causando confusão ou ambiguidade nos resultados recuperados. - Pipeline de dados Tente adicionar metadados e títulos a cada parte (p. ex., títulos de seção).
- Configuração de cadeia Recupere mais partes e use um LLM com tamanho de contexto maior.
O modelo de inserção não entende com precisão o domínio ou as frases-chave nas consultas do usuário - Verifique se as partes semanticamente semelhantes estão sendo recuperadas para a mesma consulta. - Pipeline de dados Experimente diferentes modelos de inclusão.
- Configuração de cadeia Experimente a pesquisa híbrida.
- Código de cadeia Faça a busca excessiva e reclassifique dos resultados da recuperação. Alimente apenas os principais resultados reclassificados no contexto do LLM.
- Pipeline de dados Ajuste o modelo de inclusão com base em dados específicos do domínio.
Informações relevantes ausentes do banco de dados vetorial - Verifique se há documentos ou seções relevantes ausentes no banco de dados vetorial. - Pipeline de dados Adicione mais documentos relevantes ao banco de dados vetorial.
- Pipeline de dados Melhore a análise de documentos e a extração de metadados.
As consultas de recuperação são mal formuladas - Se as consultas de usuário estiverem sendo usadas diretamente para pesquisa semântica, analise essas consultas e verifique se há ambiguidade ou falta de especificidade. Isso pode ocorrer facilmente em conversas com várias rodadas, onde a consulta bruta do usuário menciona partes anteriores da conversa de forma direta, tornando-a inadequada para uso direto como consulta de recuperação.
- Verifique se os termos da consulta correspondem à terminologia usada no corpo da pesquisa.
- Código de cadeia Adicione abordagens de expansão ou transformação de consulta (p. ex., para uma consulta de usuário, transformar a consulta antes da pesquisa semântica).
- Código de cadeia Adicione a compreensão da consulta para identificar a intenção e as entidades (p. ex., use um LLM para extrair propriedades a serem usadas na filtragem de metadados).

Próxima etapa

Se você também identificou problemas com a qualidade da geração, continue na Etapa 5 (geração). Como depurar a qualidade da geração.

Se você acha que resolveu todos os problemas identificados, continue com a Etapa 6. Faça e avalie correções de qualidade no agente de IA.

< Anterior: Passo 5. Identifique as causas raiz dos problemas de qualidade

Próximo: Etapa 5.2. Qualidade de geração de depuração >