WhiteSpace 类

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

在单词边界处拆分文本的预标记器。 单词是一组字母、数字和下划线字符。

public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizer

type WhiteSpace = class
    inherit PreTokenizer

Public NotInheritable Class WhiteSpace
Inherits PreTokenizer

继承

Object

PreTokenizer

WhiteSpace

构造函数

WhiteSpace()

在单词边界处拆分文本的预标记器。 单词是一组字母、数字和下划线字符。

字段

Instance

获取 WhiteSpace 预 tokenizer 的单一实例。

方法

PreTokenize(String)

在单词边界处拆分多个子字符串中的给定字符串，从而跟踪所述子字符串与原始字符串的偏移量。