Tokenizer(Model, PreTokenizer, Normalizer) コンストラクター
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
新しい Tokenizer オブジェクトを作成します。
public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TokenizerPublic Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)パラメーター
- model
- Model
トークナイザーで使用されているモデル。
- preTokenizer
- PreTokenizer
Tokenizer で使用される省略可能な PreTokenizer。 このパラメーターが null の場合、WhiteSpace PreTokenizer が使用されます。
- normalizer
- Normalizer
トークナイザーで使用されている省略可能なノーマライザー。