Passo 5 (geração). Como depurar a qualidade da geração
Esta página descreve como identificar a causa raiz dos problemas de geração. Use esta página quando a análise da causa raiz indicar uma causa Improve Generationraiz.
Mesmo com recuperação ideal, se o componente LLM de uma cadeia RAG não puder utilizar efetivamente o contexto recuperado para gerar respostas precisas, coerentes e relevantes, a qualidade final da saída será prejudicada. Algumas das maneiras pelas quais os problemas com a qualidade da geração podem aparecer são alucinações, inconsistências ou falha em abordar de forma concisa a consulta do usuário.
Instruções
Siga estas etapas para resolver problemas de qualidade de geração:
- Abra o bloco de notas B_quality_iteration/01_root_cause_quality_issues.
- Use as consultas para carregar rastreamentos MLflow dos registros que tiveram problemas de qualidade de geração.
- Para cada registro, examine manualmente a resposta gerada e compare-a com o contexto recuperado e a resposta verdade-base.
- Procure padrões ou problemas comuns entre as consultas com baixa qualidade de geração. Por exemplo:
- Geração de informações não presentes no contexto recuperado.
- Geração de informações que não são consistentes com o contexto recuperado (alucinação).
- Falha ao abordar diretamente a consulta do usuário dado o contexto recuperado fornecido.
- Gerar respostas excessivamente detalhadas, difíceis de entender ou sem coerência lógica.
- Com base no problema identificado, hipotetize potenciais causas e correções correspondentes. Para obter orientações, consulte Razões comuns para a má qualidade da geração.
- Siga as etapas em implementar e avaliar alterações para implementar e avaliar uma possível correção. Isso pode envolver modificar a cadeia RAG (por exemplo, ajustar o modelo de prompt ou tentar um LLM diferente) ou o pipeline de dados (por exemplo, ajustar a estratégia de fragmentação para fornecer mais contexto).
- Se a qualidade da geração ainda não for satisfatória, repita as etapas 4 e 5 para a próxima correção mais promissora até que o desempenho desejado seja alcançado.
- Execute novamente a análise de causa raiz para determinar se a cadeia geral tem causas raiz adicionais que devem ser abordadas.
Razões comuns para a má qualidade da geração
A tabela a seguir lista as etapas de depuração e possíveis correções para problemas comuns de geração. As correções são categorizadas por componente:
- Configuração em cadeia
- Código da cadeia
O componente define quais etapas você deve seguir na etapa implementar e avaliar alterações .
Importante
O Databricks recomenda que você use engenharia de prompt para iterar a qualidade das saídas do seu aplicativo. A maioria das etapas a seguir usa engenharia de prompt.
| Problema de geração | Passos de depuração | Correção potencial |
|---|---|---|
| A informação gerada não está presente no contexto recuperado (como alucinações). | - Comparar as respostas geradas com o contexto recuperado para identificar informações alucinadas. - Avaliar se certos tipos de consultas ou contexto recuperado são mais propensos a alucinações. |
- Modelo de prompt de atualização de configuração em cadeia para enfatizar a confiança no contexto recuperado. - Configuração em cadeia Use um LLM mais capaz. - Código da cadeia Implemente uma etapa de verificação de fatos ou verificação após a geração. |
| Falha em abordar diretamente a consulta do usuário ou fornecer respostas excessivamente genéricas | - Comparar as respostas geradas às consultas dos utilizadores para avaliar a relevância e a especificidade. - Verifique se certos tipos de consultas resultam na recuperação do contexto correto, mas o LLM produz resultados de baixa qualidade. |
- Configuração em cadeia Melhore o modelo de prompt para incentivar respostas diretas e específicas. - Configuração em cadeia Recupere um contexto mais direcionado melhorando o processo de recuperação. - Código da cadeia Reclassifique os resultados da recuperação para colocar as partes mais relevantes em primeiro lugar, apenas forneça-as ao LLM. - Configuração em cadeia Use um LLM mais capaz. |
| As respostas geradas são difíceis de entender ou carecem de fluxo lógico | - Avaliar os resultados quanto ao fluxo lógico, correção gramatical e compreensividade. - Analise se a incoerência ocorre com mais frequência com certos tipos de consultas ou quando certos tipos de contexto são recuperados. |
- Configuração em cadeia Alterar modelo de prompt para incentivar uma resposta coerente e bem estruturada. - Configuração em cadeia Forneça mais contexto ao LLM recuperando partes relevantes adicionais. - Configuração em cadeia Use um LLM mais capaz. |
| As respostas geradas não estão no formato ou estilo desejado | - Compare a saída com o formato esperado e as diretrizes de estilo. - Avaliar se certos tipos de consultas ou contexto recuperado são mais propensos a resultar em desvios de formato ou estilo. |
- Modelo de prompt de atualização de configuração de cadeia para especificar o formato e o estilo de saída desejados. - Código da cadeia Implemente uma etapa de pós-processamento para converter a resposta gerada no formato desejado. - Código da cadeia Adicione uma etapa para validar a estrutura e o estilo de saída e produza uma resposta de fallback, se necessário. - Configuração em cadeia Use um LLM ajustado para fornecer saídas em um formato ou estilo específico. |
Próximo passo
Se você também identificou problemas com a qualidade da recuperação, continue com a Etapa 5 (recuperação). Como depurar a qualidade da recuperação.
Se achar que resolveu todos os problemas identificados, continue com o Passo 6. Faça & avaliar correções de qualidade no agente de IA.
< Anterior: Passo 5.1. Qualidade da recuperação de depuração
Próximo: Etapa 6. Corrigir problemas de qualidade de forma iterativa >