Tokenizer(Model, PreTokenizer, Normalizer) Constructeur
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Créez un objet Tokenizer.
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)Paramètres
- model
- Model
Modèle utilisé par le générateur de jetons.
- preTokenizer
- PreTokenizer
PreTokenizer facultatif utilisé par tokenizer. WhiteSpace PreTokenizer est utilisé si ce paramètre a la valeur Null.
- normalizer
- Normalizer
Normaliseur facultatif utilisé par tokenizer.