Tokenizer(Model, PreTokenizer, Normalizer) Constructor
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Cree un nuevo objeto Tokenizer.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Parámetros
- model
- Model
El modelo que usa el tokenizador.
- preTokenizer
- PreTokenizer
PreTokenizer opcional en uso por el tokenizador. WhiteSpace PreTokenizer se usará si este parámetro es null.
- normalizer
- Normalizer
Normalizador opcional que usa el tokenizador.