你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
什么是令牌？
标记是通过将输入文本拆分为较小的段而生成的小文本块。 这些段可以是单词或字符组，长度从单个字符到整个单词不等。 例如，单词“hamburger”将被分为多个标记（如 ham、bur 和 ger），而短的常用单词 (如 pear ) 将被视为单个标记。 大型语言模型 (LLM)（例如 GPT-3.5 或 GPT-4）将单词分解为标记进行处理。