TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) 构造函数

定义

创建 TokenizerResult 对象的新对象。

public TokenizerResult (string originalString, string normalizedString, System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> splits, bool offsetsMappedToOriginalString);
new Microsoft.ML.Tokenizers.TokenizerResult : string * string * System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> * bool -> Microsoft.ML.Tokenizers.TokenizerResult
Public Sub New (originalString As String, normalizedString As String, splits As IReadOnlyList(Of Split), offsetsMappedToOriginalString As Boolean)

参数

originalString
String

要合并的标记的列表。

normalizedString
String

要合并的标记的列表。

splits
IReadOnlyList<Split>

要合并的标记的列表。

offsetsMappedToOriginalString
Boolean

指示偏移量是映射到原始字符串还是规范化字符串。

适用于