Partilhar via

Conceitos de afinação do modelo

  • Artigo

O ajuste fino é um processo de tomar um modelo já treinado e ajustá-lo para se adequar melhor aos seus dados. Este processo pode ajudá-lo a tirar o máximo partido dos seus dados e melhorar o desempenho do seu modelo. Neste artigo, você aprenderá os conceitos básicos de ajuste fino e quando o ajuste fino de um modelo de IA é apropriado.

Introdução

O ajuste fino é uma técnica poderosa que pode ajudá-lo a obter mais dos seus dados. Para entender o ajuste fino, é importante entender o conceito de aprendizagem por transferência. O aprendizado de transferência é uma técnica de aprendizado de máquina em que um modelo treinado em uma tarefa é reaproveitado em uma segunda tarefa relacionada. Isso é feito pegando um modelo pré-treinado e ajustando-o para melhor se adequar aos novos dados. O ajuste fino é uma forma de aprendizagem de transferência em que o modelo pré-treinado é ajustado para melhor se adequar aos novos dados.

Há várias etapas envolvidas no ajuste fino de um modelo. Primeiro, você precisa selecionar um modelo pré-treinado que seja adequado à sua tarefa. Em seguida, você precisa preparar seus dados de exemplo e ajustar o modelo nesses dados. Finalmente, é necessário iterar no modelo para melhorar o desempenho.

Quando afinar

O ajuste fino é adequado para momentos em que você tem uma pequena quantidade de dados e deseja melhorar o desempenho do seu modelo. Começando com um modelo pré-treinado, você pode aproveitar o conhecimento que o modelo já aprendeu e ajustá-lo para melhor se adequar aos seus dados. Isso pode ajudá-lo a melhorar o desempenho do seu modelo e reduzir a quantidade de dados necessários para treiná-lo.

Normalmente, não é necessário ajustar o modelo quando você tem uma grande quantidade de dados. Neste caso, você pode treinar seu modelo do zero e obter um bom desempenho sem ajustes finos. No entanto, o ajuste fino ainda pode ser útil neste caso, se você quiser melhorar ainda mais o desempenho do seu modelo. Você também pode querer ajustar seu modelo se tiver uma tarefa específica diferente da tarefa na qual o modelo pré-treinado foi originalmente treinado.

Você pode evitar o dispendioso ajuste fino de um modelo usando engenharia imediata ou encadeamento rápido. Essas técnicas podem ajudá-lo a gerar texto de alta qualidade sem a necessidade de ajustes.

Selecione um modelo pré-treinado

Você deve selecionar um modelo pré-treinado que seja adequado aos requisitos da sua tarefa. Existem muitos modelos pré-treinados disponíveis que foram treinados em uma ampla gama de tarefas. Você deve escolher um modelo que tenha sido treinado em uma tarefa semelhante àquela em que você está trabalhando. Isso ajudará você a aproveitar o conhecimento que o modelo já aprendeu e ajustá-lo para melhor se adequar aos seus dados.

HuggingFace modelos são um bom ponto de partida quando se procura modelos pré-treinados. Os modelos HuggingFace são agrupados em categorias com base na tarefa em que foram treinados, facilitando a localização de um modelo adequado à sua tarefa.

Estas categorias incluem:

  • Multimodal
  • Visão computacional
  • Processamento de linguagem natural
  • Áudio
  • Tabela
  • Aprendizagem por reforço

Verifique a compatibilidade do modelo com o seu ambiente e as ferramentas que está a utilizar. Por exemplo, se tu estiveres a usar Visual Studio Code, podes usar a extensão Azure Machine Learning para ajustar o teu modelo Visual Studio Code.

Verifique o estado e a licença do modelo. Alguns modelos pré-treinados podem estar disponíveis sob uma licença de código aberto, enquanto outros podem exigir uma licença comercial ou pessoal para usar. Todos os modelos em HuggingFace incluem informações de licença. Verifique se você tem as permissões necessárias para usar o modelo antes de ajustá-lo.

Prepare os seus dados de exemplo

A preparação dos dados de amostra envolve a limpeza e o pré-processamento dos dados para torná-los adequados para treinamento. Você também deve dividir seus dados em conjuntos de treinamento e validação para avaliar o desempenho do seu modelo. O formato dos seus dados deve corresponder ao formato esperado pelo modelo pré-treinado que você está usando. Esta informação pode ser encontrada com os modelos em HuggingFace na secção de Instruções do formato do cartão do modelo. A maioria dos cartões modelo incluirá um modelo para criar um prompt para o modelo e algum pseudo-código para ajudá-lo a começar.

Itere no seu modelo

Depois de ajustar seu modelo, você deve avaliar seu desempenho no conjunto de validação. Você pode usar métricas como exatidão, precisão, recall e escore F1 para avaliar o desempenho do seu modelo. Se o desempenho do modelo não for satisfatório, poderá repetir o processo ajustando os hiperparâmetros, alterando a arquitetura ou aperfeiçoando o modelo com mais dados. Você também pode examinar a qualidade e a diversidade de seus dados para ver se há algum problema que precise ser resolvido. Como regra geral, um conjunto menor de dados de alta qualidade é mais valioso do que um conjunto maior de dados de baixa qualidade.

Ver também

Para saber mais sobre como ajustar modelos de IA, confira os seguintes recursos:

Ao utilizar recursos de IA, recomendamos que você revise: Desenvolvendo aplicativos e recursos de IA generativa responsável no Windows.