Conceptos básicos de los LLM
Hay algunos conceptos básicos que son importantes para comprender el uso eficaz de LAS VM, es decir, tokens y solicitudes.
- Solicitud: Una solicitud es una frase de texto que se usa para indicar al LLM. Dependiendo de cómo se escriba la frase, obtendrá resultados diferentes.
- Token: Un token puede ser un carácter único, una fracción de una palabra o una palabra completa. Se puede usar un solo token para representar palabras comunes, mientras que se necesitan varios tokens para representar palabras menos comunes.
Mensajes
Una solicitud de texto es una oración. Un LLM comprende varios lenguajes diferentes. Puede escribir solicitudes en su propio idioma sin necesidad de aprender un idioma específico para trabajar con LLM. Consulte los ejemplos siguientes de solicitudes:
Generar una imagen de un loro rosa con un sombrero pirata.
Crear una aplicación web en Python que controle a los clientes.
Cuanto más específico sea sobre lo que solicita, mejor será el resultado.
Tokens
Un token es un código o texto de unidad básico que un LLM puede comprender y procesar.
Los modelos de lenguaje natural OpenAI no funcionan en palabras o caracteres como unidades de texto, sino en algo intermedio: tokens.
OpenAI proporciona un sitio web de tokenizador útil que puede ayudarle a comprender cómo tokeniza sus solicitudes. Para obtener más información, consulte tokenizer OpenAI.
Nota:
Después de empezar a escribir dentro del cuadro de solicitud del tokenizador de OpenAI, aparece un contador para contar el número total de tokens en el cuadro.
Si está escribiendo activamente, el contador puede tardar unos segundos en actualizarse.
¿Cuántos tokens hay en las siguientes palabras?
Vamos a intentar determinar el número de tokens de las siguientes palabras apple, blueberries y Skarsgård.
Dado que la palabra apple es una palabra común, requiere que se represente un token. Por otro lado, la palabra blueberries requiere que se representen dos tokens (blue y berries). A menos que la palabra sea común, los nombres adecuados como Skarsgård requieren que se representen varios tokens.
Esta representación de token es lo que permite a los modelos de IA generar palabras que no se pueden encontrar en ningún diccionario sin tener que generar texto por letra.
Nota:
Una generación de texto de letra a letra podría dar lugar fácilmente a texto incomprensible.
¿Cómo funciona la finalización?
Los modelos de lenguaje natural generan finalizaciones de un token a la vez de forma no determinista.
En cada paso, el modelo emite una lista de tokens y sus pesos asociados. A continuación, la API muestra un token de la lista en función de su peso. Es más probable que se seleccionen tokens muy ponderados.
La API agrega el token seleccionado a la solicitud y repite el proceso hasta que se alcanza la longitud máxima de los tokens para las finalizaciones o hasta que el modelo genera un token especial denominado token de detención, lo que impide la generación de nuevos tokens.
Este proceso no determinista es lo que hace que el modelo genere nuevas palabras cada vez que se envía una solicitud de finalización.
Nota:
Cada LLM tiene un límite en el número de tokens que puede generar. En las finalizaciones, este límite se aplica al número total de tokens en la solicitud original y a los recién generados a medida que se agregan juntos. Para obtener más información sobre los límites de tokens, consulte los modelos de Azure OpenAI Service.
Los límites de token más grandes permiten finalizaciones más largas y solicitudes mucho más grandes.