O que são tokens?
Os tokens são pequenos pedaços de texto gerados pela divisão do texto de entrada em segmentos menores. Esses segmentos podem ser palavras ou grupos de caracteres, variando em comprimento de um único caractere para uma palavra inteira. Por exemplo, a palavra hambúrguer seria dividida em fichas como presunto, bur e ger, enquanto uma palavra curta e comum como pera seria considerada um único token. Grandes modelos de linguagem (LLMs) como GPT-3.5 ou GPT-4 dividem palavras em tokens para processamento.