Desempenho do modelo de previsão
Após cada treinamento, o AI Builder usa o conjunto de dados de teste para avaliar a qualidade e a adequação do novo modelo. Uma página de resumo do modelo mostra o resultado do treinamento dele. Esses resultados são expressos como uma classificação de desempenho de A, B, C ou D.
Medição do desempenho
Classificação de desempenho
Depois de cada treinamento, o AI Builder mostra uma classificação para ajudar você a avaliar a precisão do seu modelo. Decidir se o modelo está pronto para publicação é uma escolha que você precisará fazer de acordo com as suas necessidades e circunstâncias exclusivas. O AI Builder fornece as classificações de desempenho a seguir para ajudar você a fazer esse julgamento.
Como interpretar cada classificação
| Classificação | Diretrizes |
|---|---|
| A | Ainda pode ser possível aprimorar o modelo, mas essa é a melhor classificação que você poderá obter. |
| B | O modelo está correto em muitos casos. Ele pode ser aprimorado? Isso dependerá de suas circunstâncias, seus dados e seus requisitos exclusivos. |
| C | O modelo está fazendo um pouco mais do que uma previsão aleatória. Isso pode ser aceitável para alguns aplicativos, mas na maioria dos casos, esse é um modelo que você continuará ajustando e aprimorando. |
| D | Algo está errado. Seu modelo apresenta desempenho pior em comparação a uma previsão aleatória executando um (modelo subajustado). Ou está tendo um desempenho tão bom (em ou perto de 100%) que provavelmente você tem uma coluna de dados que está diretamente correlacionada ao (modelo sobreajustado) de resultado. |
- Mais informações sobre os modelos subajustados
- Mais informações sobre os modelos sobreajustados
O intervalo de precisão varia de acordo com seus dados
Se você está prevendo 2 ou mais resultados, as taxas de precisão reais que correspondem às classificações acima podem variar de acordo com a distribuição dos dados históricos. A diferença se dá pelo fato de que a melhoria relativa à taxa de linha de base é alterada quando você move essa linha de base.
Digamos que seu modelo preveja se uma remessa será recebida no prazo. Se a taxa histórica de pontualidade for de80%, uma pontuação de desempenho igual a 92 corresponderá a uma classificação B. Porém, se a taxa histórica de pontualidade for de apenas50%, 92 corresponderá a uma classificação A. Isso ocorre porque 92% é uma melhoria muito significativa em relação a50% do que em relação a80%, e você espera que uma previsão aleatória esteja próxima desses percentuais.
Exemplo de dados históricos binários
Este exemplo mostra os intervalos de precisão para cada classificação quando os dados históricos contêm taxas de pontualidade diferentes para uma previsão binária.
| Classificação | Intervalo de precisão para a taxa histórica de pontualidade de 25% | Intervalo de precisão para a taxa histórica de pontualidade de 50% | Intervalo de precisão para a taxa histórica de pontualidade de 80% | Intervalo de precisão para a taxa histórica de pontualidade de 95% |
|---|---|---|---|---|
| A | 92,5 – <99,3% | 90 - 98% | 93 – <99% | 98,1 – <99,8% |
| B | 81,3 – <92,5% | 75 – <90% | 84 – <93% | 95,3 – <98,1% |
| C | 66,3 – <81,3% | 55 – <75% | 71 – <84% | 91,5 – <95,3% |
| D | <66,3% ou ≥99,3% | <55% ou ≥98% | <71% ou ≥99% | <91,5% ou ≥99,8% |
Exemplo de dados históricos de vários resultados
As taxas de precisão que correspondem a cada série também podem variar quando você está prevendo mais de 2 resultados. Digamos que seu modelo preveja mais de duas opções para entrega: antecipado, no prazo ou atrasado.
Os intervalos de precisão para cada série mudam quando as taxas históricas de pontualidade são alteradas.
| Classificação | Antecipado (33,3%) | Antecipado (20%) | Antecipado (10%) |
|---|---|---|---|
| No prazo (33,3%) | No prazo (40%) | No prazo (80%) | |
| Atrasado (33,4%) | Atrasado (40%) | Atrasado (10%) | |
| A | 86,7 – <98,7% | 87,2 – <98,7% | 93,2 – <99,3% |
| B | 66,7 – <86,7% | 68,0 – <87,2% | 83,0 – <93,2% |
| C | 40,0 – <66,7% | 42,4 – <68,0% | 69,4 – <83,0% |
| D | 33,3 – <40,0% | 36,0 – <42,4% | 66,0 – <69,4% |
Exemplo de previsão numérica
Para previsão numérica, o AI Builder usa a medida estatística R-quadrado para calcular o grau de precisão de seus modelos. A tabela a seguir mostra as classificações que correspondem a cada classificação:
| Classificação | R ao quadrado |
|---|---|
| A | 85% - <99% |
| N | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% ou <10% |
Detalhes de desempenho
Para obter detalhes sobre o treinamento, selecione Ver detalhes na caixa de classificação do modelo. Na guia Desempenho, as seguintes informações estão disponíveis:
Nota
Para obter informações sobre recursos adicionais planejados para essa área, confira Planos de lançamento.
- Pontuação de precisão
- R ao quadrado
Pontuação de precisão
O AI Builder calcula a pontuação de precisão do seu modelo com base no resultado de previsão do conjunto de dados de teste. Antes do treinamento, o AI Builder separa seu conjunto de dados em dados de treinamento separados e conjuntos de dados de teste. E após o treinamento, o AI Builder aplica seu modelo de IA ao conjunto de dados de teste e, em seguida, calcula sua pontuação de precisão. Por exemplo: se seu conjunto de dados de teste tiver 200 linhas e o AI Builder prevê corretamente 192 delas, o AI Builder mostra uma pontuação de precisão de 96%.
Para obter mais informações, confira Avaliar o modelo.
R ao quadrado
Para previsão numérica, o AI Builder calcula uma pontuação r-quadrado após cada treinamento. Essa pontuação mede a "qualidade do ajuste" do seu modelo e é usada para determinar a classificação de desempenho do seu modelo.
Digamos que você esteja prevendo o número de dias para cumprir, enviar e entregar um pedido. O modelo prevê um conjunto de números. O valor de R ao quadrado é baseado nas distâncias entre os valores previstos e os valores reais em seus dados de treinamento. Isso é expresso como um número entre 0 e 100%, com valores mais altos indicando que o valor previsto está mais próximo do valor real. Normalmente, uma pontuação mais alta significa um melhor desempenho do modelo. Lembre-se, no entanto, que pontuações perfeitas ou quase perfeitas (modelos de sobreajustados) geralmente são indícios de um problema com seus dados de treinamento.
Na guia Resumo, as seguintes informações de desempenho estão disponíveis:
- Data do treinamento
- Fonte de dados
- Resultado histórico
- Lista de tabelas usada para fazer a previsão.
Melhorar seu desempenho do modelo de previsão
Depois de ter treinado e avaliado seu modelo, é hora de ajustar seu modelo para melhorar o desempenho. Aqui estão algumas coisas que você pode tentar para ajudar a melhorar a potência preditiva do seu modelo.
Examinar erros e problemas
- Se houver erros depois que você concluir o treinamento, corrija-os e readapte o modelo.
- Se não houver erros, verifique os detalhes de treinamento. Tente resolver o maior número de problemas possível e treine o modelo novamente.
Examinar os principais influenciadores
Após cada treinamento, uma lista dos principais influenciadores será exibida na página de detalhes do modelo. Cada coluna usada no treinamento tem uma pontuação para representar sua influência no treinamento. Essas pontuações combinam-se para serem iguais a 100%.
Isso ajuda a mostrar se seu modelo é treinado conforme o esperado. Por exemplo, se você deseja prever a intenção dos compradores online e espera que Idade, Produto seja a coluna mais influente, você deve ver isso na lista de colunas mais influentes na página de detalhes do modelo. Caso contrário, isso poderá indicar que o resultado do treinamento não é o esperado. Nesse caso, você pode desmarcar as colunas irrelevantes ou enganosas e treinar o modelo novamente ou verificar os problemas de treinamento para ver mais detalhes.
Adicionar mais dados
O requisito mínimo para dados de treinamento é de 50 linhas, mas isso não significa que as linhas de dados de 50 treinarão um modelo altamente preditivo. Tente fornecer 1.000 ou mais linhas de dados, rotulados corretamente, com uma distribuição realista entre opções.
Verifique sua distribuição de dados
Por exemplo, se você estiver usando rótulos de duas opções de Sim ou Não, e a maioria das suas linhas de dados só tiver um Sim nesta coluna, será difícil para seu modelo aprender com esses dados. Tente ter uma distribuição de opções em seus dados que reflitam aproximadamente a distribuição das opções que você pode esperar ver. Por exemplo, se você estiver examinando colunas de dados para cat_owner e dog_owner, use uma distribuição de dados de cerca de 50%. Se você estiver examinando transações fraudulentas, use uma distribuição mais desbalanceada, talvez 95% e 5%. Procure os padrões do setor para esse tipo de informação se não souber o que esperar.
Adicionar mais colunas
Por exemplo, se desejar prever quais clientes têm mais probabilidade de voltar e comprar seus produtos. Você pode adicionar mais colunas para que os dados de treinamento fiquem mais avançados. Por exemplo:
- Como eles avaliam o produto?
- Quanto eles usam o produto?
- Eles são clientes existentes?
Restringir colunas selecionadas a informações relevantes
Você já pode ter muitos dados de treinamento rotulados corretamente, com diversas colunas de dados. Então, por que o modelo ainda não tem um bom desempenho? Pode ser que você esteja selecionando colunas que levam a uma tendência indesejada. Verifique se todas as colunas selecionadas são relevantes para influenciar o que você deseja prever. Desmarque colunas irrelevantes ou enganosas.
Valide os dados
- Verifique se as colunas de dados não têm alta classificação de valores ausentes (maior que 99%). Preencha os valores ausentes com os dados padrão ou remova a coluna de dados do treinamento de modelo.
- Se uma coluna de dados tiver uma alta correlação com um resultado da previsão, remova a coluna de dados do treinamento de modelo.