BpeTrainer コンストラクター
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| BpeTrainer() |
既定値を使用して、新しい BpeTrainer オブジェクトを構築します。 |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
新しい BpeTrainer オブジェクトを構築します。 |
BpeTrainer()
既定値を使用して、新しい BpeTrainer オブジェクトを構築します。
public BpeTrainer ();Public Sub New ()適用対象
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)
新しい BpeTrainer オブジェクトを構築します。
public BpeTrainer (System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainerPublic Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)パラメーター
- specialTokens
- IEnumerable<AddedToken>
モデルが認識する必要がある特別なトークンの一覧。
- minFrequency
- Int32
結合するためにペアが持つ必要がある最小頻度。
- vocabSize
- Int32
すべてのトークンとアルファベットを含む、最終的なボキャブラリのサイズ。
- progress
- ReportProgress
トレーニングの進行状況の更新のコールバック。
- continuingSubwordPrefix
- String
単語の先頭ではないすべてのサブワードに使用されるプレフィックス。
- endOfWordSuffix
- String
単語の終わりであるすべてのサブワードに使用されるサフィックス。