TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) 构造函数
定义
重要
一些信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 对于此处提供的信息,Microsoft 不作任何明示或暗示的担保。
创建 TokenizerResult 对象的新对象。
public TokenizerResult (string originalString, string normalizedString, System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> splits, bool offsetsMappedToOriginalString);
new Microsoft.ML.Tokenizers.TokenizerResult : string * string * System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> * bool -> Microsoft.ML.Tokenizers.TokenizerResult
Public Sub New (originalString As String, normalizedString As String, splits As IReadOnlyList(Of Split), offsetsMappedToOriginalString As Boolean)
参数
- originalString
- String
要合并的标记的列表。
- normalizedString
- String
要合并的标记的列表。
- splits
- IReadOnlyList<Split>
要合并的标记的列表。
- offsetsMappedToOriginalString
- Boolean
指示偏移量是映射到原始字符串还是规范化字符串。