WhiteSpace.PreTokenize(String) 方法

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

在字边界处拆分多个子字符串中的给定字符串，从而跟踪所述子字符串与原始字符串的偏移量。

public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);

override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>

Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

参数

sentence

String

要拆分为标记的字符串。

返回

IReadOnlyList<Split>

包含标记和标记对原始字符串的偏移量的拆分列表。