BpeTrainer Klasse

Definition

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paket:

Microsoft.ML.Tokenizers v0.20.1

Der Bpe-Trainer, der für die Schulung des Bpe-Modells verantwortlich ist.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

Vererbung

Object

Trainer

BpeTrainer

Konstruktoren

BpeTrainer()	Erstellen Sie ein neues BpeTrainer-Objekt mit den Standardwerten.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Erstellen Sie ein neues BpeTrainer-Objekt.

Eigenschaften

ContinuingSubwordPrefix	Ruft das Präfix ab, das für jedes Unterwort verwendet werden soll, das kein Wortanfang ist.
EndOfWordSuffix	Ruft das Suffix ab, das für jedes Unterwort verwendet werden soll, das ein Wortende ist.
InitialAlphabet	Ruft die Liste der Zeichen ab, die in das Anfangsalphabet eingeschlossen werden sollen, auch wenn sie nicht im Trainingsdataset angezeigt werden. Wenn die Zeichenfolgen mehr als ein Zeichen enthalten, wird nur das erste Zeichen beibehalten.
LimitAlphabet	Ruft die maximal unterschiedliche Zeichen ab, die im Alphabet beibehalten werden sollen.
MinFrequency	Ruft die Mindesthäufigkeit ab, die ein Paar aufweisen sollte, um zusammengeführt zu werden.
Progress	Legen Sie fest, wann der Fortschritt während des Trainings gemeldet werden muss. (Geerbt von Trainer)
SpecialTokens	Ruft die Liste der speziellen Token ab, die das Modell kennen sollte.
VocabSize	Ruft die Größe des endgültigen Vokabulars ab, einschließlich aller Token und des Alphabets.

Methoden

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	Verarbeiten Sie die Eingabesequenzen, und geben Sie das Ergebnis an das Modell ein.
Train(Model)	Führen Sie das eigentliche Training durch, und aktualisieren Sie das Eingabemodell mit den neuen Vokabularen und führt Daten zusammen.