Tokenizer(Model, PreTokenizer, Normalizer) 构造函数
定义
重要
一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。 对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。
创建新的 Tokenizer 对象。
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)参数
- model
- Model
Tokenizer 正在使用的模型。
- preTokenizer
- PreTokenizer
Tokenizer 正在使用的可选 PreTokenizer。 如果此参数为 null，则将使用 WhiteSpace PreTokenizer。
- normalizer
- Normalizer
Tokenizer 正在使用的可选规范化程序。