Token 类

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

表示从标记化过程生成的标记，其中包含标记子字符串、与令牌子字符串关联的 ID 以及原始字符串的偏移映射。

public sealed class Token

type Token = class

Public NotInheritable Class Token

继承

Object

Token

构造函数

Token(Int32, String, ValueTuple<Int32,Int32>)

使用令牌值 ID 和原始字符串的偏移量映射构造新的 Token 对象。

属性

Id	获取或设置与令牌关联的 ID 值。
Offset	获取或设置到原始字符串的偏移量映射。
Value	获取或设置标记字符串值。