Ajustar hiperparâmetros do modelo
Importante
O suporte para o Estúdio de ML (clássico) terminará a 31 de agosto de 2024. Recomendamos a transição para o Azure Machine Learning até essa data.
A partir de 1 de dezembro de 2021, não poderá criar novos recursos do Estúdio de ML (clássico). Até 31 de agosto de 2024, pode continuar a utilizar os recursos existentes do Estúdio de ML (clássico).
- Consulte informações sobre projetos de machine learning em movimento de ML Studio (clássico) para Azure Machine Learning.
- Saiba mais sobre Azure Machine Learning.
A documentação do Estúdio de ML (clássico) está a ser descontinuada e poderá não ser atualizada no futuro.
Executa uma varredura de parâmetros num modelo para determinar as definições ideais do parâmetro
Categoria: Machine Learning / Comboio
Nota
Aplica-se a: Machine Learning Studio (clássico) apenas
Módulos semelhantes de arrasto e queda estão disponíveis em Azure Machine Learning designer.
Visão geral do módulo
Este artigo descreve como usar o módulo Tune Model Hyperparameters no Machine Learning Studio (clássico), para determinar os hiperparmetros ideais para um determinado modelo de aprendizagem automática. O módulo constrói e testa vários modelos, utilizando diferentes combinações de configurações, e compara métricas em todos os modelos para obter a combinação de configurações.
O parâmetro de termos e o hiperparímetro podem ser confusos. Os parâmetros do modelo são o que se define no painel de propriedades. Basicamente, este módulo executa uma varredura de parâmetros sobre as definições de parâmetros especificados, e aprende um conjunto ideal de hiperparímetros, que pode ser diferente para cada decisão específica, conjunto de dados ou método de regressão. O processo de encontrar a configuração ideal é por vezes chamado de sintonização.
O módulo suporta dois métodos para encontrar as configurações ideais para um modelo:
Comboio e sintonização integrados: Configura um conjunto de parâmetros para utilizar e, em seguida, deixe o módulo iterar sobre várias combinações, medindo a precisão até encontrar um modelo "melhor". Com a maioria dos módulos de aprendizagem, pode escolher quais os parâmetros que devem ser alterados durante o processo de treino, e que devem permanecer fixos.
Dependendo do tempo de funcionamento do processo de afinação, pode decidir testar exaustivamente todas as combinações, ou pode encurtar o processo estabelecendo uma grelha de combinações de parâmetros e testando um subconjunto aleatório da grelha de parâmetros.
Validação cruzada com afinação: Com esta opção, divide os seus dados em algumas dobras e, em seguida, constrói e testa modelos em cada dobra. Este método fornece a melhor precisão e pode ajudar a encontrar problemas com o conjunto de dados; no entanto, demora mais tempo a treinar.
Ambos os métodos geram um modelo treinado que pode guardar para reutilização.
Tarefas relacionadas
Se estiver a construir um modelo de agrupamento, utilize o Clustering sweep para determinar automaticamente o número ideal de aglomerados e outros parâmetros.
Antes de sintonizar, aplique a seleção de funcionalidades para determinar as colunas ou variáveis que têm o maior valor de informação. Para mais informações, consulte a Seleção de Recursos.
Como configurar hiperparmetros de modelo de sintonização
Geralmente, aprender os hiperparmetros ideais para um determinado modelo de aprendizagem automática requer uma experimentação considerável. Este módulo suporta tanto o processo inicial de afinação como a validação cruzada para testar a precisão do modelo:
Encontre os parâmetros ideais usando uma varredura de parâmetros
Realizar validação cruzada durante uma varredura de parâmetros
Treine um modelo usando uma varredura de parâmetros
Esta secção descreve como realizar uma varredura de parâmetros básicos, que treina um modelo utilizando o módulo Tune Model Hyperparameters .
Adicione o módulo Tune Model Hyperparameters à sua experiência no Studio (clássico).
Ligação um modelo destreinado (um modelo no formato iLearner) para a entrada mais à esquerda.
Desa esta qual seja a opção de modo de formação para a gama de parâmetros e utilize o Range Builder para especificar uma gama de valores a utilizar na varredura de parâmetros.
Quase todos os módulos de classificação e regressão suportam uma varredura integrada de parâmetros. Para os alunos que não suportam configurar uma gama de parâmetros, apenas os valores dos parâmetros disponíveis podem ser testados.
Pode definir manualmente o valor para um ou mais parâmetros e, em seguida, varrer os parâmetros restantes. Isto pode poupar algum tempo.
Adicione o conjunto de dados que pretende utilizar para treinar e conecte-o à entrada média dos Hiperparímetros do Modelo de Sintonização.
Opcionalmente, se tiver um conjunto de dados marcado, pode conectá-lo à porta de entrada mais à direita (Conjunto de dados de validação opcional). Isto permite medir a precisão durante o treino e a sintonização.
No painel propriedades dos hiperparmetros tune model, escolha um valor para o modo de varredura de parâmetros. Esta opção controla a forma como os parâmetros são selecionados.
- Grelha inteira: Ao selecionar esta opção, o módulo passa por cima de uma grelha predefinida pelo sistema, para experimentar diferentes combinações e identificar o melhor aprendiz. Esta opção é útil para casos em que não sabe quais são as melhores definições de parâmetros e quer experimentar toda a combinação possível de valores.
Também pode reduzir o tamanho da grelha e executar uma varredura de grelha aleatória . A investigação demonstrou que este método produz os mesmos resultados, mas é mais eficiente computacionalmente.
- Varredura aleatória: Quando selecionar esta opção, o módulo selecionará aleatoriamente valores de parâmetros sobre um intervalo definido pelo sistema. Tem de especificar o número máximo de execuções que pretende que o módulo execute. Esta opção é útil para casos em que pretende aumentar o desempenho do modelo utilizando as métricas da sua escolha, mas ainda conservar recursos informáticos.
Para a coluna Label, lance o seletor de colunas para escolher uma única coluna de etiqueta.
Escolha uma única métrica para utilizar ao classificar os modelos.
Quando se faz uma varredura de parâmetros, todas as métricas aplicáveis para o tipo de modelo são calculadas e são devolvidas no relatório de resultados do Sweep . Métricas separadas são usadas para modelos de regressão e classificação.
No entanto, a métrica que escolhe determina como os modelos são classificados. Apenas o modelo de topo, classificado pela métrica escolhida, é a saída como um modelo treinado para usar para pontuar.
Para sementes aleatórias, escreva um número a utilizar ao rubricar a varredura do parâmetro.
Se estiver a treinar um modelo que suporte uma varredura integrada de parâmetros, também pode definir uma gama de valores de sementes para usar e iterar sobre as sementes aleatórias também. Isto pode ser útil para evitar o enviesamento introduzido pela seleção de sementes.
Execute a experimentação.
Resultados da afinação do hiperparímetro
Quando o treino estiver completo:
Para visualizar um conjunto de métricas de precisão para o melhor modelo, clique com o botão direito no módulo, selecione Varrer os resultados e, em seguida, selecione Visualize.
Todas as métricas de precisão aplicáveis ao tipo de modelo são de saída, mas a métrica que selecionou para o ranking determina qual o modelo considerado "o melhor". As métricas são geradas apenas para o modelo de topo.
Para ver as definições derivadas para o modelo "melhor", clique à direita no módulo, selecione O melhor modelo treinado e, em seguida, clique em Visualizar. O relatório inclui definições de parâmetros e pesos de característica para as colunas de entrada.
Para utilizar o modelo para pontuar noutras experiências, sem ter de repetir o processo de afinação, clique com o botão direito na saída do modelo e selecione Save as Trained Model.
Realizar validação cruzada com uma varredura de parâmetros
Esta secção descreve como combinar uma varredura de parâmetros com validação cruzada. Este processo demora mais tempo, mas pode especificar o número de dobras e obter a quantidade máxima de informação sobre o seu conjunto de dados e os modelos possíveis.
Adicione o módulo de partição e amostra à sua experiência e conecte os dados de treino.
Escolha a opção Atribuir a Dobras e especifique alguns números de dobras para dividir os dados em. Se não especificar um número, por predefinição são utilizadas 10 dobras. As linhas são repartidas aleatoriamente nestas dobras, sem substituição.
Para equilibrar a amostragem em alguma coluna, deslobreça a divisão estratificada para TRUE e, em seguida, selecione a coluna de estratos. Por exemplo, se tiver um conjunto de dados desequilibrado, pode querer dividir o conjunto de dados de modo a que cada dobra obtenha o mesmo número de casos minoritários.
Adicione o módulo De Hiperparametros Tune Model à sua experiência.
Ligação um dos módulos de aprendizagem automática desta categoria à entrada à esquerda do Tune Model Hyperparameters.
No painel de propriedades para o aprendiz, desate a opção de modo de formação Criar para a Gama de Parâmetros e utilize o Range Builder para especificar uma gama de valores a utilizar na varredura de parâmetros.
Não é preciso especificar um intervalo para todos os valores. Pode definir manualmente o valor para alguns parâmetros e, em seguida, varrer os parâmetros restantes. Isto pode poupar algum tempo.
Para obter uma lista de alunos que não suportam esta opção, consulte a secção Notas Técnicas .
Ligação a saída da Partição e da Amostra para a entrada de conjunto de dados de treino rotulado de Hiperparametros de Modelo de Sintonização.
Opcionalmente, pode ligar um conjunto de dados de validação à entrada mais à direita dos Hiperparametros tune Model. Para validação cruzada, só precisa de um conjunto de dados de treino.
No painel de propriedades de Hyperparameters tune model, indique se deseja fazer uma varredura aleatória ou uma varredura de grelha. Uma varredura de grelha é exaustiva, mas mais morosa. Uma pesquisa de parâmetros aleatórios pode obter bons resultados sem demorar tanto tempo.
Número máximo de corridas em varredura aleatória: Se escolher uma varredura aleatória, pode especificar quantas vezes o modelo deve ser treinado, utilizando uma combinação aleatória de valores de parâmetros.
Número máximo de execuções em grelha aleatória: Esta opção também controla o número de iterações sobre uma amostragem aleatória de valores de parâmetros, mas os valores não são gerados aleatoriamente a partir da gama especificada; em vez disso, uma matriz é criada de todas as combinações possíveis de valores de parâmetros e uma amostragem aleatória é tomada sobre a matriz. Este método é mais eficiente e menos propenso a sobressaírem ou a subamplá-lo regionalmente.
Dica
Para uma discussão mais aprofundada sobre estas opções, consulte a secção de notas técnicas .
Escolha uma única coluna de etiqueta.
Escolha uma única métrica para utilizar no ranking do modelo. Muitas métricas são calculadas, por isso selecione a mais importante para usar na encomenda dos resultados.
Para sementes aleatórias, escreva um número a utilizar ao rubricar a varredura do parâmetro.
Se estiver a treinar um modelo que suporte uma varredura integrada de parâmetros, também pode definir uma gama de valores de sementes para usar e iterar sobre as sementes aleatórias também. Isto é opcional, mas pode ser útil para evitar o enviesamento introduzido pela seleção de sementes.
Adicione o módulo Modelo Cross-Validate . Ligação a saída da partição e da amostra à entrada do Conjunto de Dados e ligue a saída dos Hiperparmetros do Modelo de Sintonização à entrada do modelo destreinado.
Execute a experimentação.
Resultados da validação cruzada
Quando a validação cruzada estiver completa:
Para visualizar os resultados da avaliação, clique com o botão direito no módulo, selecione os resultados da avaliação por dobra e, em seguida, selecione Visualize.
As métricas de precisão são calculadas a partir do passe de validação cruzada, e podem variar ligeiramente dependendo de quantas vezes selecionou.
Para ver como o conjunto de dados foi dividido, e como o modelo "melhor" marcaria cada linha no conjunto de dados, clique com o botão direito no módulo, selecione resultados de pontuação e, em seguida, selecione Visualize.
Se guardar este conjunto de dados para posterior reutilização, as atribuições dobráveis são preservadas. Por exemplo, o datsaet salvo pode ser assim:
Atribuições dobráveis Classe Idade (1ª coluna de recurso) 2 0 35 1 1 17 3 0 62 Para obter as definições de parâmetro para o modelo "melhor", clique à direita Em Sintonizar Hiperparametros do Modelo
Exemplos
Por exemplo, de como este módulo é utilizado, consulte a Galeria Azure AI:
Previsão do desempenho do aluno: Utiliza o algoritmo de duas classes boosted Decision Tree com diferentes parâmetros para gerar um modelo com o melhor erro quadrado de raiz possível (RMSE).
Aprendizagem com Condes: Classificação Binária: Gera um conjunto compacto de funcionalidades usando a aprendizagem baseada na contagem, e depois aplica uma varredura de parâmetros para encontrar os melhores parâmetros do modelo.
Classificação Binária: Deteção de intrusão em rede: Utiliza hiperparímetros de modelo de sintonização no modo de validação cruzada, com uma divisão personalizada em cinco dobras, para encontrar os melhores hiperparmetros para um modelo de regressão logística de duas classes .
Notas técnicas
Esta secção contém detalhes de implementação, dicas e respostas a perguntas frequentes.
Como funciona uma varredura de parâmetros
Esta secção descreve como a varredura de parâmetros funciona em geral, e como as opções neste módulo interagem.
Ao configurar uma varredura de parâmetros, define o âmbito da sua pesquisa, para utilizar um número finito de parâmetros selecionados aleatoriamente, ou uma pesquisa exaustiva sobre um espaço de parâmetro que define.
Varredura aleatória: Esta opção treina um modelo utilizando um conjunto de iterações.
Especifica uma gama de valores para iterar e o módulo utiliza um subconjunto escolhido aleatoriamente desses valores. Os valores são escolhidos com substituição, o que significa que os números previamente escolhidos aleatoriamente não são removidos do conjunto de números disponíveis. Assim, a possibilidade de qualquer valor ser selecionado permanece a mesma em todos os passes.
Varredura de grelha: Esta opção cria uma matriz, ou grelha, que inclui todas as combinações dos parâmetros na gama de valor que especifica. Quando começa a sintonizar com este módulo, vários modelos são treinados usando combinações destes parâmetros.
Toda a grelha: A opção de utilizar toda a grelha significa apenas isso: cada combinação é testada. Esta opção pode ser considerada a mais completa, mas requer mais tempo.
Grelha aleatória: Se selecionar esta opção, a matriz de todas as combinações é calculada e os valores são recolhidos a partir da matriz, sobre o número de iterações especificadas.
Pesquisas recentes mostraram que varreduras aleatórias podem ter um desempenho melhor do que varreduras de grelha.
Controlando o comprimento e a complexidade do treino
A iteração sobre muitas combinações de configurações pode ser demorado, pelo que o módulo fornece várias formas de conter o processo:
- Limitar o número de iterações usadas para testar um modelo
- Limite o espaço dos parâmetros
- Limite tanto o numer de iterações como o espaço dos parâmetros
Recomendamos que experimente as definições para determinar o método de treino mais eficiente num determinado conjunto de dados e modelo.
Escolher uma métrica de avaliação
Um relatório que contenha a precisão de cada modelo é apresentado no final para que possa rever os resultados da métrica. Um conjunto uniforme de métricas é usado para todos os modelos de classificação, e um conjunto diferente de métricas é usado para modelos de regressão. No entanto, durante o treino, deve escolher uma única métrica para utilizar no ranking dos modelos gerados durante o processo de afinação. Pode descobrir que a melhor métrica varia, dependendo do seu problema de negócio, e do custo de falsos positivos e falsos negativos.
Para mais informações, consulte Como avaliar o desempenho do modelo em Machine Learning
Métricas utilizadas para a classificação
Precisão A proporção de resultados verdadeiros para o total de casos.
Precisão A proporção de resultados verdadeiros para resultados positivos.
Lembre-se A fração de todos os resultados corretos sobre todos os resultados.
Pontuação F Uma medida que equilibra a precisão e a recuperação.
AUC Um valor que representa a área sob a curva quando falsos positivos são traçados no eixo x e verdadeiros positivos são traçados no eixo y.
Perda média de registo A diferença entre duas distribuições de probabilidades: a verdadeira, e a do modelo.
Perda de registo de comboio A melhoria fornecida pelo modelo sobre uma previsão aleatória.
Métricas utilizadas para a regressão
Erro absoluto médio Media todos os erros do modelo, onde erro significa a distância do valor previsto do valor real. Muitas vezes abreviado como MAE.
Raiz do erro quadrado médio Mede a média dos quadrados dos erros, e depois toma a raiz desse valor. Muitas vezes abreviado como RMSE
Erro absoluto relativo Representa o erro em percentagem do valor real.
Erro ao quadrado relativo Normaliza o erro total ao quadrado dividindo-se pelo erro total ao quadrado dos valores previstos.
Coeficiente de determinação Um único número que indica quão bem os dados se encaixam num modelo. Um valor de 1 significa que o modelo corresponde exatamente aos dados; um valor de 0 significa que os dados são aleatórios ou não podem ser adequados ao modelo. Muitas vezes referido como r2, R2 ou r-squared.
Módulos que não suportam uma varredura de parâmetros
Quase todos os alunos em Machine Learning suportam a validação cruzada com uma varredura integrada de parâmetros, que permite escolher os parâmetros para experimentar. Se o aprendiz não suportar a definição de uma gama de valores, ainda pode usá-lo na validação cruzada. Neste caso, é selecionada alguma gama de valores permitidos para a varredura.
Os seguintes alunos não suportam a definição de uma gama de valores a utilizar numa varredura de parâmetros:
Entradas esperadas
| Nome | Tipo | Description |
|---|---|---|
| Modelo destreinado | Interface ILearner | Modelo destreinado para varredura de parâmetros |
| Conjunto de dados de formação | Tabela de Dados | Conjunto de dados de entrada para formação |
| Conjunto de dados de validação | Tabela de Dados | Conjunto de dados de entrada para validação (para o modo de validação train/teste). Esta entrada é opcional. |
Parâmetros do módulo
| Nome | Intervalo | Tipo | Predefinição | Description |
|---|---|---|---|---|
| Especifique o modo de varrimento do parâmetro | Lista | Métodos de varrimento | Varredura aleatória | Varra toda a grelha no espaço dos parâmetros, ou varra com um número limitado de amostras |
| Número máximo de corridas em varredura aleatória | [1;10000] | Número inteiro | 5 | Execute o número máximo de corridas usando varrimento aleatório |
| Sementes aleatórias | qualquer | Número inteiro | 0 | Fornecer um valor para semear o gerador de números aleatórios |
| Coluna de etiqueta | qualquer | Seleção de Colunas | Coluna de etiqueta | |
| Métrica para medir o desempenho para a classificação | Lista | Tipo métrico de classificação binária | Precisão | Selecione a métrica utilizada para avaliar modelos de classificação |
| Métrica para medir o desempenho para regressão | Lista | Tipo RegressãoMétrico | Erro absoluto médio | Selecione a métrica utilizada para avaliar modelos de regressão |
Saídas
| Nome | Tipo | Description |
|---|---|---|
| Varrer os resultados | Tabela de Dados | Métrica de resultados para varredura de parâmetros corre |
| Melhor modelo treinado | Interface ILearner | Modelo com melhor desempenho no conjunto de dados de treino |