O que são tokens?
Os tokens são pequenos pedaços de texto gerados pela divisão do texto de entrada em segmentos menores. Esses segmentos podem ser palavras ou grupos de caracteres, variando em comprimento de um único caractere a uma palavra inteira. Por exemplo, a palavra hambúrguer seria dividida em tokens como ham, bur e guer, enquanto uma palavra curta e comum como pera seria considerada um único token. Grandes modelo de linguagem (LLMs), como GPT-3.5 ou GPT-4, dividem palavras em tokens para processamento.