Avaliar o desempenho do modelo no Machine Learning Studio (clássico)

Artigo
03/20/2017

APLICA-SE A: Aplica-se a. Machine Learning Studio (clássico) Não se aplica a. Azure Machine Learning

Importante

O suporte para o Machine Learning Studio (clássico) terminará em 31 de agosto de 2024. É recomendável fazer a transição para o Azure Machine Learning até essa data.

A partir de 1º de dezembro de 2021, você não poderá criar recursos do Machine Learning Studio (clássico). Até 31 de agosto de 2024, você pode continuar usando os recursos existentes do Machine Learning Studio (clássico).

Confira informações sobre como mover projetos de machine learning do ML Studio (clássico) para o Azure Machine Learning.
Saiba mais sobre o Azure Machine Learning

A documentação do ML Studio (clássico) está sendo desativada e pode não ser atualizada no futuro.

Neste artigo, você pode saber mais sobre as métricas que pode usar para monitorar o desempenho do modelo no Machine Learning Studio (clássico). Avaliar o desempenho de um modelo é um dos estágios principais do processo de ciência de dados. Indica o êxito da pontuação (previsões) de um conjunto de dados feitas por meio de um modelo treinado. O Machine Learning Studio (clássico) dá suporte à avaliação de modelo por meio de dois dos principais módulos de machine learning:

Esses módulos permitem que você veja como o seu modelo é executado em termos de um número de métricas que são usados normalmente em estatísticas e aprendizado de máquina.

A avaliação de modelos deve ser considerada em conjunto com:

Três cenários comuns de aprendizado supervisionado são apresentados:

regressão
classificação binária
classificação multiclasse

Avaliação versus Validação cruzada

Avaliação e Validação cruzada são as formas padrão de medir o desempenho do seu modelo. Ambas geram métricas de avaliação que você pode inspecionar ou comparar com os outros modelos.

Avaliar Modelo espera um conjunto de dados de pontuação como entrada (ou 2 caso você deseje comparar o desempenho de dois modelos diferentes). Assim, você precisa treinar o modelo usando o módulo Treinar Modelo e fazer previsões em um conjunto de dados usando o módulo Modelo de Pontuação para poder avaliar os resultados. A avaliação se baseia nas probabilidades/rótulos pontuados juntamente com os rótulos verdadeiros, que são produzidos pelo módulo Modelo de Pontuação.

Como alternativa, você pode usar a validação cruzada para executar várias operações para avaliar-treinar-pontuar (10 partições) automaticamente em diferentes subconjuntos dos dados de entrada. Os dados de entrada são divididos em 10 partes, em que uma está reservada para teste, e as outras 9 para treinamento. Esse processo é repetido 10 vezes e as métricas de avaliação são transformadas em médias. Isso ajuda a determinar como um modelo seria generalizado para novos conjuntos de dados. O módulo Modelo de Validação Cruzada aproveita um modelo não treinado e alguns conjuntos de dados rotulados e gera os resultados da avaliação de cada uma das 10 partições, além dos resultados médios.

Nas seções a seguir, compilaremos modelos de regressão e classificação simples e avaliaremos o desempenho usando os módulos Avaliar Modelo e Modelo de Validação Cruzada.

Avaliar um Modelo de regressão

Suponha que desejamos prever o preço do carro usando recursos, como dimensões, potência, especificações de mecanismo e assim por diante. Este é um problema comum de regressão, em que a variável de destino (preço) é um valor numérico contínuo. Conseguimos ajustar um modelo de regressão linear que, considerando os valores das características de um determinado carro, pode prever o preço daquele carro. Esse modelo de regressão pode ser usado para a pontuação do mesmo conjunto de dados no qual treinamos. Assim que tivermos previsto os preços dos carros, poderemos avaliar o desempenho do modelo observando quanto, em média, as previsões se desviam dos preços reais. Para ilustrar isso, usamos o Conjunto de dados dos dados de preço de automóvel (Brutos) disponível na seção Conjuntos de Dados Salvos no Azure Machine Learning Studio (clássico).

Criando o experimento

Adicione os seguintes módulos ao workspace no Machine Learning Studio (clássico):

Dados de preço de automóvel (Brutos)
Regressão Linear
Treinar Modelo
Pontuar Modelo
Avaliar Modelo

Conecte as portas, conforme mostrado abaixo na Figura 1 e defina a coluna Rótulo do módulo Treinar Modelo como preço.

Avaliar um Modelo de regressão

Figura 1. Avaliar um Modelo de regressão.

Inspecionando os Resultados da avaliação

Depois de executar o experimento, você pode clicar na porta de saída do módulo Avaliar Modelo e selecionar Visualizar para ver os resultados da avaliação. As métricas de avaliação disponíveis para modelos de regressão são: Erro Absoluto Médio, Erro Absoluto Médio de Raiz, Erro Absoluto Relativo, Erro Quadrado Relativo e Coeficiente de Determinação.

O termo "erro" aqui representa a diferença entre o valor previsto e o valor verdadeiro. O valor absoluto ou o quadrado dessa diferença geralmente são computados para capturar a magnitude total do erro em todas as instâncias, como a diferença entre o valor previsto e o verdadeiro pode ser negativa em alguns casos. As métricas de erro medem o desempenho de previsão de um modelo de regressão em termos do desvio da média de suas previsões dos valores verdadeiros. Valores mais baixos de erro significam que o modelo é mais preciso para fazer previsões. Uma métrica de erro geral zero significa que o modelo se ajusta aos dados perfeitamente.

O coeficiente de determinação, que também é conhecido como R ao quadrado, também é uma maneira padrão de medir o quão bem o modelo se ajusta aos dados. Ele pode ser interpretado como a proporção da variação explicada pelo modelo. Uma proporção mais alta é melhor nesse caso, em que 1 indica um ajuste perfeito.

Métrica de avaliação de regressão linear

Figura 2. Métrica de avaliação de regressão linear.

Usando Validação Cruzada

Como mencionado anteriormente, você pode executar treinamento, pontuação e avaliações repetidas automaticamente usando o módulo Modelo de Validação Cruzada. Tudo o que você precisa nesse caso é um conjunto de dados, um modelo não treinado e um módulo Modelo de Validação Cruzada (veja a figura abaixo). Você precisa definir a coluna de rótulo como preço nas propriedades do módulo Modelo de Validação Cruzada.

Validação cruzada de um modelo de regressão

Figura 3. A validação cruzada em um modelo de regressão.

Depois de executar o experimento, você pode inspecionar os resultados da avaliação clicando na porta de saída à direita do módulo Modelo de Validação Cruzada. Isso fornecerá uma exibição detalhada das métricas para cada iteração (partição) e os resultados médios de cada uma das métricas (Figura 4).

Resultados de validação cruzada de um modelo de regressão

Figura 4. Resultados de Validação cruzada de um modelo de regressão.

Avaliar um modelo de classificação binária

Em um cenário de classificação binária, a variável de destino tem somente dois resultados possíveis, por exemplo: {0, 1} ou {falso, verdadeiro}, {negativo, positivo}. Suponha que você terá um conjunto de dados de funcionários adultos com algumas variáveis demográficas e de emprego e que você será solicitado a prever o nível de renda, uma variável binária com os valores {"<=50 K", ">50 K"}. Em outras palavras, a classe negativa representa os funcionários que recebem um valor menor ou igual a 50 mil por ano, e a classe positiva representa todos os outros funcionários. Como no cenário de regressão, podemos treinar um modelo, pontuar alguns dados e avaliar os resultados. As principais diferenças são a opção de métricas que o Machine Learning Studio (clássico) computa e gera. Para ilustrar o cenário de previsão de nível de renda, usaremos o conjunto de dados Adulto para criar um experimento do Studio (clássico) e avaliar o desempenho de um modelo de regressão logística de duas classes, uma classificação binária tipicamente usada.