PreTokenizer 类

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

所有预标记器类的基类。 PreTokenizer 负责执行预分段步骤。

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

继承

Object

PreTokenizer

派生

Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

构造函数

PreTokenizer()

所有预标记器类的基类。 PreTokenizer 负责执行预分段步骤。

方法

PreTokenize(String)

在字边界处拆分多个子字符串中的给定字符串，从而跟踪所述子字符串与原始字符串的偏移量。