Explore modelos de linguagem de ajuste fino no Azure AI Studio
Quando quiser ajustar um modelo de linguagem, você pode usar um modelo base ou básico que já esteja pré-treinado em grandes quantidades de dados. Há muitos modelos de base disponíveis por meio do catálogo de modelos no Azure AI Studio. Você pode ajustar modelos base em várias tarefas, como classificação de texto, tradução ou conclusão de bate-papo.
Quando você deseja usar um modelo ajustado para gerar respostas em um aplicativo de chat, você precisa usar um modelo base que pode ser ajustado em uma tarefa de conclusão de chat. O catálogo de modelos do Azure AI Studio permite filtrar com base em tarefas de ajuste fino para decidir qual modelo base selecionar. Você pode, por exemplo, selecionar um modelo GPT-4 ou Llama-2-7b para ajustar seus próprios dados de treinamento.
Para ajustar um modelo de linguagem do catálogo de modelos do Azure AI Foundry, você pode usar a interface do usuário fornecida no portal.
Selecione o modelo base
Ao navegar para o catálogo de modelos no portal do Azure AI Foundry, você pode explorar todos os modelos de linguagem disponíveis.
Nota
Embora todos os modelos de idioma disponíveis apareçam no catálogo de modelos do Azure AI Foundry, talvez não seja possível ajustar o modelo desejado dependendo da cota disponível. Certifique-se de que o modelo que você deseja ajustar esteja disponível na região em que você criou seu hub de IA.
Você pode filtrar os modelos disponíveis com base na tarefa para a qual deseja ajustar um modelo. Por tarefa, você tem várias opções para modelos de fundação para escolher. Ao decidir entre modelos de base para uma tarefa, você pode examinar a descrição do modelo e o cartão de modelo referenciado.
Algumas considerações que você pode levar em conta ao decidir sobre um modelo de fundação antes do ajuste fino são:
- Recursos do modelo: avalie os recursos do modelo de base e quão bem eles se alinham com sua tarefa. Por exemplo, um modelo como o BERT é melhor na compreensão de textos curtos.
- Dados de pré-treinamento: considere o conjunto de dados usado para pré-treinar o modelo de base. Por exemplo, o GPT-2 é treinado em conteúdo não filtrado da internet que pode resultar em preconceitos.
- Limitações e enviesamentos: Esteja ciente de quaisquer limitações ou enviesamentos que possam estar presentes no modelo de fundação.
- Suporte a idiomas: explore quais modelos oferecem o suporte a idiomas específicos ou recursos multilíngues de que você precisa para seu caso de uso.
Gorjeta
Embora o portal do Azure AI Foundry forneça descrições para cada modelo de base no catálogo de modelos, você também pode encontrar mais informações sobre cada modelo por meio do respetivo cartão de modelo. Os modelos de cartões são referenciados na visão geral de cada modelo e hospedados no site da Hugging Face.
Configurar o trabalho de ajuste fino
Para configurar um trabalho de ajuste fino usando o portal do Azure AI Foundry, você precisa executar as seguintes etapas:
- Selecione um modelo base.
- Selecione seus dados de treinamento.
- (Opcional) Selecione os dados de validação.
- Configure as opções avançadas.
Quando você envia um modelo para ajuste fino, o modelo é treinado ainda mais em seus dados. Para configurar o trabalho de ajuste fino ou treinamento, você pode especificar as seguintes opções avançadas:
| Nome | Descrição |
|---|---|
| batch_size | O tamanho do lote a ser usado para treinamento. O tamanho do lote é o número de exemplos de treinamento usados para treinar um único passe para frente e para trás. Em geral, lotes maiores tendem a funcionar melhor para conjuntos de dados maiores. O valor padrão e o valor máximo para essa propriedade são específicos para um modelo base. Um tamanho de lote maior significa que os parâmetros do modelo são atualizados com menos frequência, mas com menor variância. |
| learning_rate_multiplier | O multiplicador da taxa de aprendizagem a utilizar na formação. A taxa de aprendizagem de ajuste fino é a taxa de aprendizagem original usada para pré-treinamento multiplicada por esse valor. Taxas de aprendizagem maiores tendem a ter um melhor desempenho com lotes maiores. Recomendamos experimentar valores no intervalo de 0,02 a 0,2 para ver o que produz os melhores resultados. Uma taxa de aprendizagem menor pode ser útil para evitar o sobreajuste. |
| n_epochs | O número de épocas para treinar o modelo. Uma época refere-se a um ciclo completo através do conjunto de dados de treinamento. |
| sementes | A semente controla a reprodutibilidade do trabalho. Passar nos mesmos parâmetros de semente e trabalho deve produzir os mesmos resultados, mas pode diferir em casos raros. Se uma semente não for especificada, uma será gerada para você. |
Depois de enviar o trabalho de ajuste fino, um trabalho será criado para treinar seu modelo. Você pode revisar o status do trabalho enquanto ele está em execução. Depois que o trabalho for concluído, você poderá revisar os parâmetros de entrada quando quiser entender como o modelo ajustado foi criado.
Se você adicionou um conjunto de dados de validação, poderá revisar o desempenho do modelo explorando o desempenho dele no conjunto de dados de validação.
Como alternativa, você sempre pode implantar um modelo ajustado. Depois de implantar o modelo, você pode testá-lo para avaliar seu desempenho. Quando estiver satisfeito com seu modelo ajustado, você poderá integrar o modelo implantado ao seu aplicativo de chat.