Etapa 5 (geração). Como depurar a qualidade de geração
Essa página descreve como identificar a causa raiz dos problemas de geração. Use essa página quando a análise de causa raiz indicar uma causa raiz Improve Generation.
Mesmo com uma recuperação otimizada, se o componente LLM de uma cadeia RAG não conseguir utilizar o contexto recuperado com eficácia para gerar respostas corretas, coerentes e relevantes, a qualidade final do resultado será afetada. Algumas das formas que os problemas de qualidade de geração podem assumir são as alucinações, inconsistências ou falhas ao abordar a consulta do usuário com concisão.
Instruções
Siga essas etapas para abordar problemas de qualidade de geração:
- Abra o notebook B_quality_iteration/01_root_cause_quality_issues.
- Use as consultas para carregar os indícios de MLflow dos registros que apresentaram problemas de qualidade de geração.
- Para cada registro, examine manualmente a resposta gerada e a compare com o contexto recuperado e a resposta de referência.
- Procure padrões ou problemas comuns nas consultas com baixa qualidade de geração. Por exemplo:
- Geração de informações não presentes no contexto recuperado.
- Geração de informações que não são consistentes com o contexto recuperado (alucinação).
- Falha ao abordar diretamente a consulta do usuário considerando o contexto recuperado fornecido.
- Geração de respostas que são excessivamente detalhadas, difíceis de entender ou sem coerência lógica.
- Com base no problema identificado, crie hipóteses de possíveis causas raiz e as correções correspondentes. Para obter diretrizes, confira Razões comuns para uma geração de qualidade insuficiente.
- Siga as etapas em implementar e avaliar as alterações para implementar e avaliar uma possível correção. Isso pode envolver a modificação da cadeia RAG (por exemplo, ajustar o modelo de prompt ou experimentar uma LLM diferente) ou o pipeline de dados (por exemplo, ajustar a estratégia de fragmentação para fornecer mais contexto).
- Se a qualidade de geração ainda não for satisfatória, repita as etapas 4 e 5 para a próxima correção mais promissora, até que o desempenho desejado seja alcançado.
- Execute novamente a análise de causa raiz para determinar se a cadeia de modo geral tem alguma causa raiz adicional que deve ser abordada.
Motivos comuns para uma geração de qualidade insuficiente
A tabela a seguir lista as etapas de depuração e possíveis correções para problemas comuns de geração. As correções são categorizadas por componente:
- Configuração de cadeia
- Código de cadeia
O componente define quais etapas você deve seguir na etapa implementar e avaliar as alterações.
Importante
O Databricks recomenda que você use a engenharia de prompt para iterar na qualidade dos resultados do aplicativo. A maioria das etapas a seguir usa a engenharia de prompt.
| Problema de geração | Etapas de depuração | Possível correção |
|---|---|---|
| As informações geradas não estão presentes no contexto recuperado (como, por exemplo, nas alucinações). | - Compare as respostas geradas ao contexto recuperado para identificar informações alucinadas. - Avalie se determinados tipos de consultas ou contextos recuperados são mais propensos a alucinações. |
- Configuração de cadeia Atualize o modelo de prompt para enfatizar a confiança no contexto recuperado. - Configuração de cadeia Use um LLM mais capaz. - Código de cadeia Implemente uma verificação de fatos ou uma etapa de verificação de fatos após a geração. |
| Falha ao abordar diretamente a consulta do usuário ou fornecimento de respostas excessivamente genéricas | - Compare as respostas geradas às consultas de usuário para avaliar a relevância e a especificidade. - Verifique se determinados tipos de consultas resultam na recuperação do contexto correto, mas o LLM está produzindo resultados de baixa qualidade. |
- Configuração de cadeia Melhore o modelo de prompt para incentivar respostas diretas e específicas. - Configuração de cadeia Recupere um contexto mais direcionado ao melhorar o processo de recuperação. - Código de cadeia Reclassifique os resultados da recuperação para posicionar as partes mais relevantes em primeiro lugar, forneça-os apenas ao LLM. - Configuração de cadeia Use um LLM mais capaz. |
| As respostas geradas são difíceis de entender ou sem fluxo lógico | - Avalie a saída quanto ao fluxo lógico, a correção gramatical e ao reconhecimento. - Analise se a incoerência ocorre com mais frequência em determinados tipos de consultas ou quando determinados tipos de contexto são recuperados. |
- Configuração de cadeia Altere o modelo de prompt para incentivar uma resposta coerente e bem estruturada. - Configuração de cadeia Forneça mais contexto ao LLM recuperando partes relevantes adicionais. - Configuração de cadeia Use um LLM mais capaz. |
| As respostas geradas não estão no formato ou estilo desejados | - Compare a saída ao formato esperado e às diretrizes de estilo. - Avalie se determinados tipos de consultas ou contextos recuperados são mais propensos a desvios de formato ou estilo. |
- Configuração de cadeia Atualize o modelo de prompt para especificar o formato e o estilo de saída desejados. - Código de cadeia Implemente uma etapa de pós-processamento para converter a resposta gerada no formato desejado. - Código de cadeia Adicione uma etapa para validar a estrutura e o estilo de saída, além de gerar uma resposta de fallback, se necessário. - Configuração de cadeia Use um LLM ajustado para fornecer saídas em um formato ou estilo específico. |
Próxima etapa
Se você também identificou problemas com a qualidade de recuperação, prossiga para a Etapa 5 (recuperação). Como depurar a qualidade da recuperação.
Se você acha que resolveu todos os problemas identificados, continue com a Etapa 6. Faça e avalie correções de qualidade no agente de IA.
< Anterior: Etapa 5.1. Depurar a qualidade da recuperação
Próximo: Etapa 6. Corrigir problemas de qualidade iterativamente >