Bpe 构造函数

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

重载

Bpe()	构造不带词汇标记的新 Bpe 模型对象。 此构造函数仅在训练方案中有用。
Bpe(String, String, String, String, String)	构造一个新的 Bpe 模型对象，用于句子标记化和 tokenizer 训练。

Bpe()

构造不带词汇标记的新 Bpe 模型对象。 此构造函数仅在训练方案中有用。

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

构造一个新的 Bpe 模型对象，用于句子标记化和 tokenizer 训练。

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

参数

vocabFile

String

包含字符串键字典及其 ID 的 JSON 文件路径。

mergesFile

String

包含令牌对列表的文件路径。

unknownToken

String

模型要使用的未知标记。

continuingSubwordPrefix

String

要附加到不表示单词开头的子单词单位的前缀。

endOfWordSuffix

String

要附加到表示词尾的子单词单位的后缀。