Model 类

定义

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

表示在标记化 (期间使用的模型，如 BPE、Word Piece 或 Unigram) 。

public abstract class Model

type Model = class

Public MustInherit Class Model

Model()

表示在标记化 (期间使用的模型，如 BPE、Word Piece 或 Unigram) 。

GetTrainer()	获取用于训练模型的训练器对象。
GetVocab()	获取将令牌映射到 ID 的字典。
GetVocabSize()	获取将令牌映射到 ID 的字典大小。
IdToString(Int32, Boolean)	表示在标记化 (期间使用的模型，如 BPE、Word Piece 或 Unigram) 。
IdToToken(Int32, Boolean)	将标记化 ID 映射到令牌。
IsValidChar(Char)	如果字符在 tokenizer 中有效，则返回 true;否则返回 false。
Save(String, String)	将模型数据保存到词汇中并合并文件。
Tokenize(String)	将序列字符串标记化为标记列表。
TokenToId(String)	将令牌映射到标记化 ID。