Compartilhar via

Conceitos de ajuste do modelo

  • Artigo

O ajuste fino é um processo de pegar um modelo pré-treinado e ajustá-lo para que se adeque melhor aos seus dados. Esse processo pode ajudá-lo a aproveitar ao máximo seus dados e melhorar o desempenho do seu modelo. Neste artigo, você aprenderá os conceitos básicos de ajuste fino e quando é apropriado ajustar um modelo de IA.

Introdução

O ajuste fino é uma técnica poderosa que pode ajudá-lo a obter mais dos seus dados. Para entender o ajuste fino, é importante compreender o conceito de aprendizado por transferência. O aprendizado de transferência é uma técnica de aprendizado de máquina em que um modelo treinado em uma tarefa é reutilizado em uma segunda tarefa relacionada. Isso é feito usando um modelo pré-treinado e ajustando-o para ajustar melhor os novos dados. O ajuste fino é uma forma de aprendizado de transferência em que o modelo pré-treinado é ajustado para se ajustar melhor aos novos dados.

Há várias etapas envolvidas no ajuste fino de um modelo. Primeiro, você precisa selecionar um modelo pré-treinado adequado para sua tarefa. Em seguida, você precisa preparar seus dados de exemplo e ajustar o modelo nesses mesmos dados. Finalmente, você precisa iterar em seu modelo para melhorar seu desempenho.

Quando ajustar

O ajuste fino é adequado para momentos em que você tem uma pequena quantidade de dados e deseja melhorar o desempenho do seu modelo. Começando com um modelo pré-treinado, você pode aproveitar o conhecimento de que o modelo já aprendeu e ajustá-lo para melhor ajustar seus dados. Isso pode ajudá-lo a melhorar o desempenho do modelo e reduzir a quantidade de dados necessários para treiná-lo.

Geralmente, não é necessário ajustar seu modelo quando você tem uma grande quantidade de dados. Nesse caso, você pode treinar seu modelo do zero e obter um bom desempenho sem ajuste fino. No entanto, o ajuste fino ainda poderá ser útil nesse caso se você quiser melhorar ainda mais o desempenho do modelo. Talvez você também queira ajustar seu modelo se tiver uma tarefa específica diferente da tarefa em que o modelo pré-treinado foi treinado originalmente.

Você pode evitar o dispendioso ajuste de um modelo usando engenharia de prompt ou encadeamento de prompt. Essas técnicas podem ajudá-lo a gerar texto de alta qualidade sem a necessidade de ajuste fino.

Selecionar um modelo pré-treinado

Você deve selecionar um modelo pré-treinado adequado aos seus requisitos de tarefa. Há muitos modelos pré-treinados disponíveis que foram treinados em uma ampla gama de tarefas. Você deve escolher um modelo que tenha sido treinado em uma tarefa semelhante à que você está trabalhando. Isso ajudará você a aproveitar o conhecimento de que o modelo já aprendeu e ajustá-lo para melhor ajustar seus dados.

Modelos HuggingFace são um bom ponto de partida ao procurar por modelos pré-treinados. Os modelos de HuggingFace são agrupados em categorias com base na tarefa em que foram treinados, facilitando a localização de um modelo adequado para sua tarefa.

Essas categorias incluem:

  • Multimodal
  • Visão computacional
  • Processamento de linguagem natural
  • Áudio
  • Tabular
  • Aprendizado de reforço

Verifique a compatibilidade do modelo com seu ambiente e as ferramentas que você está usando. Por exemplo, se você estiver usando Visual Studio Code, poderá usar a extensão Azure Machine Learning para Visual Studio Code para ajustar seu modelo.

Verifique o status e a licença do modelo. Alguns modelos pré-treinados podem estar disponíveis sob uma licença de software livre, enquanto outros podem exigir uma licença comercial ou pessoal para uso. Todos os modelos no HuggingFace incluem informações de licença. Verifique se você tem as permissões necessárias para usar o modelo antes de ajustá-lo.

Preparar seus dados de exemplo

Preparar seus dados de exemplo envolve a limpeza e o pré-processamento de seus dados para torná-los adequados para treinamento. Você também deve dividir seus dados em conjuntos de treinamento e validação para avaliar o desempenho do modelo. O formato dos dados deve corresponder ao formato esperado pelo modelo pré-treinado que você está usando. Essas informações podem ser encontradas com os modelos no HuggingFace na seção Formato de instruções do cartão do modelo. A maioria dos cartões de modelo incluirá um modelo para criar um prompt para o modelo e algum pseudocódigo para ajudá-lo a começar.

Iterar no seu modelo

Depois de ajustar seu modelo, você deverá avaliar seu desempenho no conjunto de validação. Você pode usar métricas como precisão, recall e medida f para avaliar o desempenho do seu modelo. Se o desempenho do modelo não for satisfatório, você poderá iterar o modelo ajustando os hiperparâmetros, alterando a arquitetura ou ajustando o modelo com mais dados. Você também pode examinar a qualidade e a diversidade de seus dados para ver se há problemas que precisam ser resolvidos. Como regra geral, um conjunto menor de dados de alta qualidade é mais valioso do que um conjunto maior de dados de baixa qualidade.

Consulte também

Para saber mais sobre modelos de IA de ajuste fino, confira os seguintes recursos:

Ao utilizar recursos de IA, recomendamos que você examine: Desenvolvendo aplicativos e recursos de IA generativos responsáveis no Windows.