Model.TokenToId(String) 方法

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

将令牌映射到标记化 ID。

public abstract int? TokenToId (string token);

abstract member TokenToId : string -> Nullable<int>

Public MustOverride Function TokenToId (token As String) As Nullable(Of Integer)

参数

token

String

要映射到 ID 的标记。

返回

Nullable<Int32>

令牌的映射 ID。