Entenda quando fazer o ajuste fino de um modelo de linguagem
Antes de começar a ajustar um modelo, você precisa ter uma compreensão clara do que é ajuste fino e quando deve usá-lo.
Quando quiser desenvolver um copilot personalizado com o Estúdio de IA do Azure, você pode usar o prompt flow para criar um aplicativo de chat integrado a um modelo de linguagem para gerar respostas. Para aprimorar a qualidade das respostas geradas pelo modelo, você pode experimentar várias estratégias. A estratégia mais fácil é aplicar a engenharia de prompt. Você pode alterar a maneira como formata sua pergunta, mas também pode atualizar a mensagem do sistema que é enviada junto com o prompt para o modelo de linguagem.
A engenharia de prompt é uma maneira rápida e fácil de melhorar a forma como o modelo age e o que o modelo precisa saber. Quando você deseja aprimorar ainda mais a qualidade do modelo, há duas técnicas comuns que são usadas:
- RAG (geração aumentada por recuperação): Fundamente seus dados, primeiro recuperando o contexto de uma fonte de dados antes de gerar uma resposta.
- Ajuste: Treine um modelo de linguagem base em um conjunto de dados antes de integrá-lo em seu aplicativo.
A RAG é mais comumente aplicada quando você precisa que as respostas do modelo sejam factuais e fundamentadas em dados específicos. Por exemplo, você deseja que os clientes façam perguntas sobre hotéis que você está oferecendo em seu catálogo de reservas de viagens. Por outro lado, quando você deseja que o modelo se comporte de uma certa maneira, o ajuste fino pode ajudar você a alcançar sua meta. Você também pode usar uma combinação de estratégias de otimização, como RAG e um modelo ajustado, para aprimorar o seu aplicativo de linguagem.
A maneira como o modelo precisa agir se relaciona principalmente com o estilo, o formato e o tom das respostas geradas por um modelo. Quando quiser que seu modelo adira a um estilo e um formato específicos ao responder, você pode instruir o modelo a fazer isso por meio da engenharia de prompt também. Às vezes, no entanto, a engenharia de prompt pode não levar a resultados consistentes. Ainda pode acontecer que um modelo ignore suas instruções e se comporte de maneira diferente.
Dentro da engenharia de prompt, uma técnica usada para "forçar" o modelo a gerar saída em um formato específico é fornecer ao modelo vários exemplos de como a saída desejada pode ser, também conhecida como one-shot (um exemplo) ou few-shot (alguns exemplos). Ainda assim, pode acontecer que seu modelo nem sempre gere a saída no estilo e no formato especificados.
Para maximizar a consistência do comportamento do modelo, você pode ajustar um modelo base com seus dados de treinamento.