Etapa 4. Avaliar a qualidade da POC

Consulte o repositório do GitHub para obter o código de exemplo nesta seção.

Tempo esperado: de cinco a 60 minutos. O tempo varia de acordo com o número de perguntas no conjunto de avaliação. Para 100 perguntas, a avaliação leva aproximadamente cinco minutos.

Visão geral e resultado esperado

Esta etapa usa o conjunto de avaliação que você acabou de coletar para avaliar seu aplicativo de POC e estabelecer a qualidade, o custo e a latência da linha de base. Os resultados da avaliação são usados pela próxima etapa para identificar a causa raiz de quaisquer problemas de qualidade.

A avaliação é feita usando a Avaliação do Agente do Mosaic AI e analisa de maneira abrangente todos os aspectos de qualidade, custo e latência descritos na seção de métricas deste livro de receitas.

As métricas agregadas e a avaliação de cada pergunta no conjunto de avaliação são registradas no MLflow. Para obter detalhes, confira Saídas de avaliação.

Requisitos

• O conjunto de avaliação está disponível.
• Todos os requisitos das etapas anteriores.

Instruções

1. Abra o notebook 05_evaluate_poc_quality no diretório POC escolhido e clique em Executar tudo.
2. Inspecione os resultados da avaliação no notebook ou usando o MLflow. Se os resultados atenderem aos seus requisitos de qualidade, você poderá pular diretamente para [Implantar e monitorar]. Como o aplicativo POC é criado no Databricks, ele está pronto para ser implantado em uma API REST escalonável e pronta para produção.

Próxima etapa

Usando essa avaliação de linha de base da qualidade da POC, identifique as causas raiz de quaisquer problemas de qualidade e corrija iterativamente esses problemas para aprimorar o aplicativo. Confira a Etapa 5. Identificar a causa raiz de problemas de qualidade.