Testando a precisão com gráficos de comparação de precisão (Tutorial de mineração de dados básico)

Na guia Gráfico de Precisão de Mineração do Designer de Mineração de Dados, você pode calcular o quão bem cada um de seus modelos faz previsões e comparar os resultados de cada modelo diretamente com os resultados dos outros modelos. Esse método de comparação é conhecido como um gráfico de comparação de precisão. Normalmente, a precisão da previsão de um modelo de mineração é medida pela comparação de precisão ou pela precisão de classificação. Para este tutorial, só usaremos o gráfico de comparação de precisão.

Neste tópico, você executará as seguintes tarefas:

• Escolher os dados de entrada

• Configurar parâmetros do gráfico de precisão

Escolha dos dados de entrada

A primeira etapa para testar a precisão dos modelos de mineração é selecionar a fonte de dados que será usada para teste. Você testará o desempenho dos modelos com os dados de teste e os usará com dados externos.

Para selecionar o conjunto de dados

1. Alterne para a guia Gráfico de Precisão de Mineração no Designer de Mineração de Dados no SQL Server Data Tools (SSDT) e selecione a guia Seleção de Entrada.

2. Na caixa Selecionar conjunto de dados a ser usado para o grupo Gráfico de Precisão , selecione Usar casos de teste de estrutura de mineração. Esses são os dados de teste que você reservou quando criou a estrutura de mineração.

   Para obter mais informações sobre as outras opções, consulte Escolher um tipo de gráfico de precisão e Definir opções de gráfico.

Definir parâmetros do gráfico de precisão

Para criar um gráfico de precisão, você deve definir três parâmetros:

• Que modelos você deve incluir no gráfico de precisão?

• Que atributo previsível você deseja medir? Alguns modelos podem ter vários destinos, mas cada gráfico pode medir apenas um resultado de cada vez.

  Para usar uma coluna como o Nome de Coluna Previsível em um gráfico de precisão, as colunas devem ter o tipo de uso de Predict ou Predict Only. Além disso, o tipo de conteúdo da coluna de destino deve ser Discrete ou Discretized. Em outras palavras, você não pode medir a precisão em relação a resultados numéricos contínuos que usem o gráfico de comparação de precisão.

• Você deseja medir a precisão geral do modelo ou sua precisão na previsão de um valor específico (como [Comprador de Bicicleta] = 'Sim')

Para gerar o gráfico de comparação de precisão

1. Na guia Seleção de Entrada do Designer de Mineração de Dados, em Selecionar colunas previsíveis do modelo de mineração a serem mostradas no gráfico de comparação de precisão, marque a caixa de seleção Sincronizar Colunas e Valores de Previsão.

2. Na coluna Nome da Coluna Previsível , verifique se Bike Buyer está selecionado para cada modelo.

3. Na coluna Mostrar , selecione cada um dos modelos.

   Por padrão, são selecionados todos os modelos na estrutura de mineração. Você pode optar por não incluir um modelo, mas para este tutorial deixe todos os modelos selecionados.

4. Na coluna Prever Valor , selecione 1. O mesmo valor é preenchido automaticamente para cada modelo que tenha a mesma coluna previsível.

5. Selecione a guia Gráfico de Comparação de Precisão .

   Quando você clicar na guia, uma consulta de previsão será executada para obter as previsões dos dados de teste, e os resultados serão comparados com os valores existentes. Os resultados serão plotados no gráfico.

   Se você especificou um resultado de destino específico usando a opção Prever Valor , o gráfico de comparação de precisão plota os resultados de estimativas aleatórias e os resultados de um modelo ideal.

   • A linha de estimativa aleatória mostra como a precisão do modelo seria se nenhum dado fosse usado para informar as previsões: ou seja, uma divisão 50-50 entre dois resultados. O gráfico de comparação de precisão ajuda você a visualizar melhor o desempenho do seu modelo em comparação com uma estimativa aleatória.

   • A linha de modelo ideal representa o limite superior de precisão. Ela mostra o benefício máximo possível que você poderia obter se seu modelo sempre previsse com precisão.

   Em geral, os modelos de mineração criados ficarão entre esses dois extremos. Qualquer melhoria da estimativa aleatória é considerada lift.

6. Use a legenda para localizar as linhas coloridas que representam o Modelo Ideal e o Modelo de Previsão Aleatório.

   Você observará que o TM_Decision_Tree modelo fornece a maior elevação, superando os modelos Clustering e Naive Bayes.

Para obter uma explicação detalhada de um gráfico de comparação de precisão semelhante ao criado nesta lição, consulte Lift Chart (Analysis Services – Data Mining).

Próxima tarefa da lição

Testando um modelo filtrado (Tutorial de mineração de dados básico)

Consulte Também

Gráfico de comparação de precisão (Analysis Services - Mineração de Dados)
Guia do gráfico de comparação de precisão (Exibição de gráfico de precisão de mineração)