Passo 4. Avaliar a qualidade do POC

Consulte o repositório GitHub para obter o código de exemplo nesta seção.

Tempo previsto: 5 - 60 minutos. O tempo varia de acordo com o número de perguntas do seu conjunto de avaliação. Para 100 perguntas, a avaliação leva aproximadamente 5 minutos.

Visão geral e resultados esperados

Esta etapa usa o conjunto de avaliação que você acabou de selecionar para avaliar seu aplicativo POC e estabelecer a qualidade, o custo e a latência da linha de base. Os resultados da avaliação são usados pela próxima etapa para identificar a causa raiz de quaisquer problemas de qualidade.

A avaliação é feita usando Mosaic AI Agent Evaluation e analisa de forma abrangente todos os aspetos de qualidade, custo e latência descritos na seção métricas deste tutorial.

As métricas agregadas e a avaliação de cada pergunta no conjunto de avaliação são registradas no MLflow. Para obter detalhes, consulte Resultados da avaliação.

Requisitos

• O conjunto de avaliação está disponível.
• Todos os requisitos das etapas anteriores.

Instruções

1. Abra o 05_evaluate_poc_quality bloco de anotações no diretório POC escolhido e clique em Executar tudo.
2. Inspecione os resultados da avaliação no caderno ou usando MLflow. Se os resultados atenderem aos seus requisitos de qualidade, você poderá pular diretamente para Implantar e monitorar. Como o aplicativo POC é construído em Databricks, ele está pronto para ser implantado em uma API REST escalável e pronta para produção.

Próximo passo

Usando essa avaliação de linha de base da qualidade do POC, identifique as causas raiz de quaisquer problemas de qualidade e corrija iterativamente esses problemas para melhorar o aplicativo. Consulte o Passo 5. Identifique a causa raiz dos problemas de qualidade.

< Anterior: Passo 3. Organize um conjunto de avaliação

Seguinte: Passo 5. Identificar as causas dos problemas de qualidade >