Avaliar e comparar modelos

  • 3 minutos

Quando um experimento de AutoML (machine learning automatizado) for concluído, você desejará examinar os modelos que foram treinados e decidir qual deles teve o melhor desempenho.

No Estúdio do Azure Machine Learning, você pode selecionar um experimento de AutoML para explorar os detalhes.

Na página de Visão geral da execução do experimento de AutoML, você pode examinar o ativo de dados de entrada e o resumo do melhor modelo. Para explorar todos os modelos que foram treinados, selecione a guia Modelos:

Captura de tela da guia modelos em um experimento de machine learning automatizado executado no Estúdio do Azure Machine Learning.

Explorar etapas de pré-processamento

Após você habilitar a definição de recursos para o experimento de AutoML, o verificador de integridade dos dados também será aplicado automaticamente. Os três verificadores de integridade dos dados com suporte para modelos de classificação são:

  • Detecção de balanceamento de classe.
  • Imputação de valores de recursos ausentes.
  • Detecção de recursos de alta cardinalidade.

Cada um desses verificadores de integridade dos dados mostrará um de três estados possíveis:

  • Aprovado: nenhum problema foi detectado e nenhuma ação é necessária.
  • Concluído: as alterações foram aplicadas aos seus dados. Examine as alterações feitas pelo AutoML nos dados.
  • Alerta: um problema foi detectado, mas não pôde ser corrigido. Examine os dados para corrigir o problema.

Ao lado dos verificadores de integridade dos dados, o AutoML pode aplicar técnicas de dimensionamento e normalização a cada modelo treinado. Você pode examinar a técnica aplicada na lista de modelos em Nome do algoritmo.

Por exemplo, o nome do algoritmo de um modelo listado pode ser MaxAbsScaler, LightGBM. MaxAbsScaler refere-se a uma técnica de dimensionamento em que cada recurso é dimensionado segundo seu valor absoluto máximo. LightGBM refere-se ao algoritmo de classificação usado para treinar o modelo.

Recuperar a melhor execução e o modelo

Ao examinar os modelos no AutoML, você pode identificar facilmente a melhor execução com base na métrica primária especificada. No Estúdio do Azure Machine Learning, os modelos são classificados automaticamente para mostrar o modelo com melhor desempenho na parte superior.

Na guia Modelos do experimento de AutoML, você poderá editar as colunas se quiser mostrar outras métricas na mesma visão geral. Ao criar uma visão geral mais abrangente que inclua várias métricas, pode ser mais fácil comparar modelos.

Para explorar ainda mais um modelo, você pode gerar explicações para cada modelo que foi treinado. Ao configurar um experimento de AutoML, você pode especificar que explicações devem ser geradas para o modelo com melhor desempenho. No entanto, se você estiver interessado na interpretabilidade de outro modelo, poderá selecionar o modelo na visão geral e selecionar Explicar modelo.

Observação

Explicar um modelo é uma aproximação da interpretabilidade do modelo. Especificamente, as explicações estimarão a importância relativa dos recursos no recurso de destino (o que o modelo é treinado para prever). Saiba mais sobre interpretabilidade de modelos.

Dica

Saiba mais sobre como avaliar execuções de AutoML.