Tokenizer.Encode(String) 方法

参考

定义

命名空间:: Microsoft.ML.Tokenizers

程序集:: Microsoft.ML.Tokenizers.dll

包:: Microsoft.ML.Tokenizers v0.21.1

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

将输入文本编码为具有标记列表、标记 ID、令牌偏移映射的对象。

public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);

member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResult

Public Function Encode (sequence As String) As TokenizerResult

参数

sequence: String

要标记的文本。

返回

TokenizerResult

标记化结果包括令牌列表、令牌 ID、令牌偏移映射。

适用于