TokenizerResult 类

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

编码表示 Tokenizer 的输出。

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

继承

Object

TokenizerResult

构造函数

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

创建 TokenizerResult 对象的新对象。

属性

Ids	获取令牌 ID 的列表。 ID 是语言模型的主要输入。 它们是标记索引，即 LM 理解的数字表示形式。
NormalizedString	获取原始字符串的规范化形式。
Offsets	获取偏移量的列表。 这些偏移量可对输入字符串进行切片，从而检索导致生成相应令牌的原始部分。
OffsetsMappedToOriginalString	获取原始字符串的规范化形式。
OriginalString	获取原始标记化字符串。
Tokens	获取生成的令牌。 它们是 ID 的字符串表示形式。