Concetti di base degli LLM
Alcuni concetti di base che sono importanti per comprendere l'uso efficace dei modelli linguistici di grandi dimensioni (LLM): i token e le richieste.
- Richiesta: una richiesta è una frase di testo usata per istruire l'LLM. A seconda di come si forma la frase, si ottengono risultati diversi.
- Token: un token può essere un singolo carattere, una frazione di una parola o un'intera parola. Un singolo token può essere usato per rappresentare parole comuni, mentre più token sono necessari per rappresentare parole meno comuni.
Prompt
Una richiesta di testo è una frase. Un LLM comprende diverse lingue. È possibile scrivere richieste nella propria lingua senza la necessità di imparare una lingua specifica per lavorare con LLM. Vedere i seguenti esempi di richieste:
Genera un'immagine di un pappagallo rosa con un cappello pirata.
Crea un'app Web in Python per la gestione dei clienti.
Quanto più specifica è la richiesta, tanto migliore sarà il risultato.
OAuth
Un token è un codice o un testo di unità di base che un LLM può comprendere ed elaborare.
I modelli di linguaggio naturale OpenAI non operano su parole o caratteri come unità di testo, ma su qualcosa di livello intermedio, ovvero il token.
OpenAI fornisce un sito Web tokenizer utile per comprendere come avviene la tokenizzazione delle richieste. Per altre informazioni, vedere Tokenizer di OpenAI.
Nota
Dopo aver iniziato a digitare all'interno della casella di richiesta del tokenizer OpenAI, viene visualizzato un contatore per contare il numero totale di token nella casella.
Se si sta digitando in modo attivo, il contatore potrebbe richiedere alcuni secondi per aggiornarsi.
Quanti token vi sono nelle parole seguenti?
Si proverà a determinare il numero di token per le parole apple, blueberries e Skarsgård.
Poiché apple è una parola comune, per essere rappresentata richiede un token. D'altra parte, per rappresentare la parola blueberries sono necessari due token (blue e berries). A meno che la parola non sia comune, per rappresentare nomi quali Skarsgård sono necessari più token.
la rappresentazione di questo token consente ai modelli di intelligenza artificiale di generare parole che non è possibile trovare in alcun dizionario senza dover generare testo lettera per lettera.
Nota
Una generazione di testo lettera per lettera potrebbe causare facilmente un errore.
Come funziona il completamento?
I modelli in linguaggio naturale generano i completamenti per un token alla volta e in modo non deterministico.
In ogni passaggio, il modello genera un elenco di token e i relativi pesi associati. L'API esegue quindi l'esempio di un token dall'elenco in base al suo peso. È più probabile che siano selezionati i token ponderati.
L'API aggiunge il token selezionato alla richiesta e ripete il processo fino a quando non viene raggiunta la lunghezza massima dei token per i completamenti o fino a quando il modello non genera un token speciale denominato token di arresto, che impedisce la generazione di nuovi token.
Questo processo non deterministico è ciò che consente al modello di generare nuove parole ogni volta che si invia una richiesta di completamento.
Nota
Ogni LLM ha un limite per il numero di token che può generare. Nei completamenti, questo limite si applica al numero totale di token nella richiesta originale e a quelli appena generati man mano che vengono aggiunti. Per altre informazioni sui limiti dei token, vedere Modelli del Servizio OpenAI di Azure.
I limiti di token più elevati consentono completamenti più lunghi e richieste molto più grandi.