Model.Tokenize(String) 方法

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

将序列字符串标记化为标记列表。

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);

abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>

Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)

参数

sequence

String

要标记化的序列。

返回

IReadOnlyList<Token>

从序列标记化生成的令牌列表。