Compartilhar via

Etapa 6. Fazer e avaliar correções de qualidade no agente de IA

  • Artigo

Este artigo orienta você pelas etapas para iterar e avaliar correções de qualidade em seu agente de IA generativa com base na análise de causa raiz.

Diagrama do fluxo de trabalho da POC, etapa de iteração

Para obter mais informações sobre como avaliar um agente de IA, consulte O que é a avaliação do agente de IA do Mosaic?.

Requisitos

  1. Com base na análise da causa raiz, você identificou possíveis correções para a recuperação ou geração a ser implementada e avaliada.
  2. Seu aplicativo da POC (ou outra cadeia de linha de base) é registrado em uma execução do MLflow com uma avaliação de Avaliação do Agente armazenada na mesma execução.

Consulte o repositório do GitHub para obter o código de exemplo nesta seção.

Resultado esperado na avaliação do agente

GIF animado mostrando a saída de uma execução de avaliação do agente no Databricks MLflow.

A imagem anterior mostra a saída de Avaliação do Agente no MLflow.

Como corrigir, avaliar e iterar no agente de IA

Para todos os tipos, use o notebook B_quality_iteration/02_evaluate_fixes para avaliar a cadeia resultante versus sua configuração de linha de base, sua POC e escolha um “vencedor”. Este notebook ajuda você a escolher o experimento vencedor e implantá-lo no aplicativo de revisão ou em uma API REST escalonável e pronta para produção.

  1. No Azure Databricks, abra o notebook B_quality_iteration/02_evaluate_fixes .
  2. Com base no tipo de correção que você está implementando:
    • Para correções de pipeline de dados:
    • Para correções de configuração de cadeia:
      • Siga as instruções na seção Chain configuration do notebook 02_evaluate_fixes para adicionar correções de configuração de cadeia à variável CHAIN_CONFIG_FIXES.
    • Para correções de código de cadeia:
      • Crie um arquivo de código de cadeia modificado e salve-o na pasta B_quality_iteration/chain_code_fixes. Como alternativa, selecione uma das correções de código de cadeia fornecidas nessa pasta.
      • Siga as instruções na seção Chain code do notebook 02_evaluate_fixes para adicionar o arquivo do código de cadeia e qualquer configuração de cadeia adicional necessários para a variável CHAIN_CODE_FIXES.
  3. O seguinte ocorre quando você executa o notebook na célula Run evaluation:
    • Avalie cada correção.
    • Determine a correção com as melhores métricas de qualidade, custo e latência.
    • Implante a melhor para o Aplicativo de Revisão e uma API REST pronta para produção para obter comentários de participantes.

Próxima etapa

Continue com a Etapa 6 (pipelines). Implementar correções de pipeline de dados.

< Anterior: Etapa 5.2. Qualidade de geração de depuração

Próximo: Etapa 6.1. Corrigir o pipeline de dados >