BpeTrainer クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

Bpe モデルのトレーニングを担当する Bpe トレーナー。

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

BpeTrainer()	既定値を使用して、新しい BpeTrainer オブジェクトを構築します。
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	新しい BpeTrainer オブジェクトを構築します。

ContinuingSubwordPrefix	単語の先頭ではないすべてのサブワードに使用するプレフィックスを取得します。
EndOfWordSuffix	単語の終わりであるすべてのサブワードに使用するサフィックスを取得します。
InitialAlphabet	トレーニングデータセットに表示されない場合でも、最初のアルファベットに含める文字の一覧を取得します。文字列に複数の文字が含まれている場合は、最初の文字のみが保持されます。
LimitAlphabet	アルファベットで保持する最大異なる文字を取得します。
MinFrequency	結合するためにペアに必要な最小頻度を取得します。
Progress	トレーニング中に進行状況を報告する必要がある場合に設定します。 (継承元 Trainer)
SpecialTokens	モデルが認識する必要がある特別なトークンの一覧を取得します。
VocabSize	すべてのトークンとアルファベットを含む、最終的なボキャブラリのサイズを取得します。

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	入力シーケンスを処理し、結果をモデルにフィードします。
Train(Model)	実際のトレーニングを実行し、入力モデルを新しい語彙で更新し、データをマージします。