Grundläggande begrepp för LLM:er
Det finns några grundläggande begrepp som är viktiga att förstå för att effektivt använda LLM:er, nämligen token ochprompter.
- Fråga: En fråga är en text mening som används för att instruera LLM. Beroende på hur du uttrycker meningen får du olika resultat.
- Token: En token kan vara ett enda tecken, en bråkdel av ett ord eller ett helt ord. En enda token kan användas för att representera vanliga ord, medan flera token behövs för att representera mindre vanliga ord.
Frågor
En textprompt är en mening. En LLM förstår flera olika språk. Du kan skriva frågor på ditt eget språk utan att behöva lära dig ett specifikt språk för att arbeta med LLM. Se följande exempel på frågor:
Generera en bild av en rosa papegoja med en pirathatt.
Skapa en webbapp i Python som hanterar kunder.
Ju mer specifik du är om vad du ber om, desto bättre blir resultatet.
Token
En token är en grundläggande enhetstext eller kod som en LLM kan förstå och bearbeta.
OpenAI-modeller för naturligt språk fungerar inte på ord eller tecken som textenheter, utan på något däremellan: token.
OpenAI tillhandahåller en användbar tokenizerwebbplats som kan hjälpa dig att förstå hur den tokeniserar dina begäranden. Mer information finns i OpenAI-tokenizer.
Kommentar
När du har börjat skriva i rutan OpenAI-tokenizer visas en räknare för att räkna det totala antalet token i rutan.
Om du aktivt skriver kan det ta några sekunder att uppdatera räknaren.
Hur många token finns det i följande ord?
Nu ska vi försöka fastställa antalet token för följande ord apple, blueberriesoch Skarsgård.
Eftersom ordet apple är ett vanligt ord måste en token representeras. Å andra sidan kräver ordet blueberries att två token (blue och berries) representeras. Om inte ordet är vanligt kräver korrekta namn som Skarsgård att flera token representeras.
Den här tokenrepresentationen gör att AI-modeller kan generera ord som du inte kan hitta i någon ordlista utan att behöva generera text brev för bokstav.
Kommentar
En textgenerering bokstav för bokstav kan lätt resultera i gibberish.
Hur fungerar slutförandet?
Naturliga språkmodeller genererar slutföranden av en token i taget på ett icke-förutbestämt sätt.
Vid varje steg genererar modellen en lista över token och deras associerade vikter. API:et tar sedan exempel på en token från listan baserat på dess vikt. Det är mer sannolikt att tungt viktade token väljs.
API:et lägger till den valda token i prompten och upprepar processen tills den maximala längden på token för slutföranden har nåtts eller tills modellen genererar en särskild token som kallas stopptoken, vilket förhindrar generering av nya token.
Den här nondeterministiska processen gör att modellen genererar nya ord varje gång vi skickar en begäran om slutförande.
Kommentar
Varje LLM har en gräns för hur många token som kan genereras. I slutföranden gäller den här gränsen det totala antalet token i den ursprungliga prompten och de nyligen genererade när de läggs till tillsammans. Mer information om tokengränser finns i Azure OpenAI Service-modellerna.
Större tokengränser möjliggör längre slutföranden och mycket större uppmaningar.