Conceitos fundamentais de LLMs
Existem alguns conceitos centrais que são importantes entender para usar efetivamente LLMs, ou seja , tokens e prompts.
- Prompt: Um prompt é uma frase de texto usada para instruir o LLM. Dependendo de como você escreve a frase, você obtém resultados diferentes.
- Token: um token pode ser um único caractere, uma fração de uma palavra ou uma palavra inteira. Um único token pode ser usado para representar palavras comuns, enquanto vários tokens são necessários para representar palavras menos comuns.
Pedidos
Um prompt de texto é uma frase. Um LLM compreende várias línguas diferentes. Você pode escrever prompts em seu próprio idioma sem a necessidade de aprender um idioma específico para trabalhar com o LLM. Consulte os seguintes exemplos de prompts:
Gere uma imagem de um papagaio rosa com um chapéu de pirata.
Crie um aplicativo Web em Python que lida com clientes.
Quanto mais específico você for sobre o que está pedindo, melhor será o resultado.
Tokens
Um token é um texto ou código de unidade básica que um LLM pode entender e processar.
Os modelos de linguagem natural OpenAI não operam em palavras ou caracteres como unidades de texto, mas em algo intermediário: tokens.
OpenAI fornece um site tokenizador útil que pode ajudá-lo a entender como ele tokeniza suas solicitações. Para obter mais informações, consulte Tokenizador OpenAI.
Nota
Depois de começar a digitar dentro da caixa de prompt do tokenizador OpenAI, um contador aparece para contar o número total de tokens na caixa.
Se você estiver digitando ativamente, o contador pode levar alguns segundos para ser atualizado.
Quantos tokens existem nas seguintes palavras?
Vamos tentar determinar o número de tokens para as seguintes palavras apple, blueberries, e Skarsgård.
Como a palavra apple é uma palavra comum, ela requer um token para ser representada. Por outro lado, a palavra blueberries requer dois tokens (blue e berries) para ser representada. A menos que a palavra seja comum, nomes próprios como Skarsgård exigem vários tokens para serem representados.
Essa representação de token é o que permite que os modelos de IA gerem palavras que você não pode encontrar em nenhum dicionário sem ter que gerar texto letra a letra.
Nota
Uma geração de texto letra por letra poderia facilmente resultar em disparates.
Como funciona a conclusão?
Os modelos de linguagem natural geram completações, um token de cada vez, de forma não determinística.
Em cada etapa, o modelo emite uma lista de tokens e seus pesos associados. Em seguida, a API obtém amostras de um token da lista com base em seu peso. Tokens fortemente ponderados são mais propensos a serem selecionados.
A API adiciona o token selecionado ao prompt e repete o processo até que o comprimento máximo de tokens para conclusão seja atingido ou até que o modelo gere um token especial chamado token stop, que impede a geração de novos tokens.
Este processo não determinístico é o que faz com que o modelo gere novas palavras cada vez que enviamos um pedido de conclusão.
Nota
Cada LLM tem um limite no número de tokens que pode gerar. Em conclusão, esse limite se aplica ao número total de tokens no prompt original e aos recém-gerados à medida que são adicionados. Para obter mais informações sobre limites de token, consulte os modelos do Serviço OpenAI do Azure.
Limites de token maiores permitem finalizações mais longas e prompts muito maiores.