Che cosa sono i token?
I token sono piccoli blocchi di testo generati suddividendo il testo di input in segmenti più piccoli. Questi segmenti possono essere parole o gruppi di caratteri, che variano in lunghezza da un singolo carattere a un'intera parola. Ad esempio, la parola “hamburger” sarebbe divisa in token quali ham, bur e ger, mentre una parola breve e comune come “pera” sarebbe considerata come singolo token. Modelli di linguaggio di grandi dimensioni come GPT-3.5 o GPT-4 suddividere le parole in token per l'elaborazione.