Token(Int32, String, ValueTuple<Int32,Int32>) 构造函数

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

使用令牌值 ID 和原始字符串的偏移量映射构造新的 Token 对象。

public Token (int id, string value, (int, int) offset);

new Microsoft.ML.Tokenizers.Token : int * string * ValueTuple<int, int> -> Microsoft.ML.Tokenizers.Token

Public Sub New (id As Integer, value As String, offset As ValueTuple(Of Integer, Integer))

参数

id

Int32

与令牌关联的 ID 值。

value

String

标记字符串值。

offset

ValueTuple<Int32,Int32>

原始字符串的偏移量映射。