Como usar o Painel para melhorar seu aplicativo
Importante
O LUIS será aposentado em 1º de outubro de 2025 e a partir de 1º de abril de 2023 você não poderá criar novos recursos do LUIS. Recomendamos migrar seus aplicativos LUIS para o entendimento de linguagem conversacional para se beneficiar do suporte contínuo ao produto e dos recursos multilíngues.
Encontre e corrija problemas com as intenções do seu aplicativo treinado quando você estiver usando expressões de exemplo. O painel exibe informações gerais do aplicativo, com destaques de intenções que devem ser corrigidas.
A análise do Painel de Revisão é um processo iterativo, repetido à medida que você altera e melhora seu modelo.
Esta página não terá análise relevante para aplicativos que não tenham nenhum exemplo de enunciado na tentativa, conhecidos como aplicativos somente padrão.
Que problemas podem ser corrigidos a partir do painel?
Os três problemas abordados no painel são:
| Problema | Cor do gráfico | Explicação |
|---|---|---|
| Desequilíbrio de dados | - | Isso ocorre quando a quantidade de enunciados de exemplo varia significativamente. Todas as intenções precisam ter aproximadamente o mesmo número de expressões de exemplo - exceto a intenção Nenhuma. Ele deve ter apenas 10%-15% da quantidade total de expressões no aplicativo. Se os dados estiverem desequilibrados, mas a precisão da intenção estiver acima de determinado limite, esse desequilíbrio não será relatado como um problema. Comece com este problema - pode ser a causa raiz dos outros problemas. |
| Previsões pouco claras | Orange | Isso ocorre quando as pontuações da intenção superior e da intenção seguinte estão próximas o suficiente para que elas possam virar no próximo treinamento, devido a amostragem negativa ou mais expressões de exemplo adicionadas à intenção. |
| Previsões incorretas | Vermelho | Isso ocorre quando um enunciado de exemplo não é previsto para a intenção rotulada (a intenção em que ele está). |
As previsões corretas são representadas com a cor azul.
O painel mostra esses problemas e informa quais intenções são afetadas e sugere o que você deve fazer para melhorar o aplicativo.
Antes de o aplicativo ser treinado
Antes de treinar o aplicativo, o painel não contém sugestões de correções. Treine seu aplicativo para ver essas sugestões.
Verificar o estado da publicação
O cartão de status Publicação contém informações sobre a última publicação da versão ativa.
Verifique se a versão ativa é a versão que você deseja corrigir.
Isso também mostra quaisquer serviços externos, regiões publicadas e acertos agregados de pontos de extremidade.
Rever a avaliação da formação
O cartão de avaliação de treinamento contém o resumo agregado da precisão geral do seu aplicativo por área. A pontuação indica a qualidade da intenção.
O gráfico indica as intenções corretamente previstas e as áreas problemáticas com cores diferentes. À medida que você melhora o aplicativo com as sugestões, essa pontuação aumenta.
As correções sugeridas são separadas por tipo de problema e são as mais significativas para seu aplicativo. Se preferir revisar e corrigir problemas por intenção, use o cartão Intenções com erros na parte inferior da página.
Cada área problemática tem intenções que precisam ser corrigidas. Quando você seleciona o nome da intenção, a página Intenção é aberta com um filtro aplicado aos enunciados. Esse filtro permite que você se concentre nos enunciados que estão causando o problema.
Comparar alterações entre versões
Crie uma nova versão antes de fazer alterações no aplicativo. Na nova versão, faça as alterações sugeridas nos enunciados de exemplo da intenção e, em seguida, treine novamente. No cartão de avaliação de treinamento da página Painel, use Mostrar alteração da versão treinada para comparar as alterações.
Corrija a versão adicionando ou editando expressões de exemplo e retreinamento
O principal método de corrigir seu aplicativo será adicionar ou editar expressões de exemplo e reciclar. Os enunciados novos ou alterados precisam seguir diretrizes para enunciados variados.
A adição de expressões de exemplo deve ser feita por alguém que:
- tem um elevado grau de compreensão do que são os enunciados nas diferentes intenções.
- sabe como os enunciados de uma intenção podem ser confundidos com outra intenção.
- é capaz de decidir se duas intenções, que são frequentemente confundidas uma com a outra, devem ser colapsadas em uma única intenção. Se este for o caso, os diferentes dados devem ser extraídos com entidades.
Padrões e listas de frases
A página de análise não indica quando usar padrões ou listas de frases. Se você adicioná-los, isso pode ajudar com previsões incorretas ou pouco claras, mas não ajudará com o desequilíbrio de dados.
Rever o desequilíbrio de dados
Comece com este problema - pode ser a causa raiz dos outros problemas.
A lista de intenções de desequilíbrio de dados mostra intenções que precisam de mais enunciados para corrigir o desequilíbrio de dados.
Para corrigir esse problema:
- Adicione mais expressões à intenção e, em seguida, treine novamente.
Não adicione expressões à intenção Nenhum, a menos que isso seja sugerido no painel.
Gorjeta
Use a terceira seção da página, Enunciados por intenção com a configuração Enunciados (número), como um guia visual rápido de quais intenções precisam de mais enunciados.
Rever previsões incorretas
A lista de intenções de previsão incorretas mostra intenções que têm enunciados, que são usados como exemplos para uma intenção específica, mas são previstos para intenções diferentes.
Para corrigir esse problema:
- Edite enunciados para ser mais específico para a intenção e treine novamente.
- Combine intenções se os enunciados estiverem muito alinhados e treine novamente.
Rever previsões pouco claras
A lista de intenções de previsão pouco clara mostra intenções com enunciados com pontuações de previsão que não estão longe o suficiente de seu rival mais próximo, que a intenção superior para o enunciado pode mudar no próximo treinamento, devido à amostragem negativa.
Para corrigir esse problema;
- Edite enunciados para ser mais específico para a intenção e treine novamente.
- Combine intenções se os enunciados estiverem muito alinhados e treine novamente.
Enunciados por intenção
Este cartão mostra a integridade geral do aplicativo em todas as intenções. À medida que você corrigir intenções e treinar novamente, continue a olhar para este cartão em busca de problemas.
O gráfico a seguir mostra um aplicativo bem equilibrado com quase nenhum problema a corrigir.
O gráfico a seguir mostra um aplicativo mal equilibrado com muitos problemas a serem corrigidos.
Passe o cursor sobre a barra de cada intenção para obter informações sobre a intenção.
Use o recurso Classificar por para organizar as intenções por tipo de problema para que você possa se concentrar nas intenções mais problemáticas com esse problema.
Intenções com erros
Este cartão permite-lhe rever questões para uma intenção específica. A visualização padrão deste cartão é a intenção mais problemática para que você saiba onde concentrar seus esforços.
O gráfico de rosquinhas superior mostra os problemas com a intenção nos três tipos de problemas. Se houver problemas nos três tipos de problemas, cada tipo tem seu próprio gráfico abaixo, juntamente com quaisquer intenções rivais.
Filtrar intenções por problema e porcentagem
Esta seção do cartão permite que você encontre exemplos de expressões que estão fora do seu limite de erro. O ideal é que as previsões corretas sejam significativas. Essa percentagem é orientada para os negócios e para o cliente.
Determine as porcentagens de limite com as quais você se sente confortável para sua empresa.
O filtro permite que você encontre intenções com problemas específicos:
| Filtro | Percentagem sugerida | Propósito |
|---|---|---|
| Intenções mais problemáticas | - | Comece aqui - Corrigir os enunciados nessa intenção melhorará o aplicativo mais do que outras correções. |
| Previsões corretas abaixo | 60% | Esta é a percentagem de enunciados na intenção selecionada que estão corretos, mas têm uma pontuação de confiança abaixo do limiar. |
| Previsões pouco claras acima | 15% | Esta é a percentagem de enunciados na intenção selecionada que são confundidos com a intenção rival mais próxima. |
| Previsões incorretas acima | 15% | Esta é a porcentagem de enunciados na intenção selecionada que são previstos incorretamente. |
Limite de previsão correto
O que é uma pontuação de confiança de previsão confiante para você? No início do desenvolvimento de aplicativos, 60% podem ser o seu alvo. Use as previsões corretas abaixo com a porcentagem de 60% para encontrar quaisquer enunciados na intenção selecionada que precisem ser corrigidos.
Limite de previsão obscuro ou incorreto
Esses dois filtros permitem que você encontre enunciados na intenção selecionada além do limite. Pode pensar nestas duas percentagens como percentagens de erro. Se você estiver confortável com uma taxa de erro de 10-15% para previsões, defina o limite de filtro para 15% para encontrar todos os enunciados acima desse valor.