Bpe Konstruktoren

Definition

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paket:

Microsoft.ML.Tokenizers v0.20.1

Überlädt

Bpe()	Erstellen Sie ein neues Bpe-Modellobjekt ohne Tokenisierungsvokabular. Dieser Konstruktor ist nur im Trainingsszenario nützlich.
Bpe(String, String, String, String, String)	Erstellen Sie ein neues Bpe-Modellobjekt, das für die Satztokenisierung und Tokenisierungsschulung verwendet werden soll.

Bpe()

Erstellen Sie ein neues Bpe-Modellobjekt ohne Tokenisierungsvokabular. Dieser Konstruktor ist nur im Trainingsszenario nützlich.

public Bpe();

Public Sub New ()

Bpe(String, String, String, String, String)

Erstellen Sie ein neues Bpe-Modellobjekt, das für die Satztokenisierung und Tokenisierungsschulung verwendet werden soll.

public Bpe(string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parameter

vocabFile

String

Der JSON-Dateipfad, der das Wörterbuch der Zeichenfolgenschlüssel und deren ID enthält.

mergesFile

String

Der Dateipfad, der die Paarliste der Token enthält.

unknownToken

String

Das unbekannte Token, das vom Modell verwendet werden soll.

continuingSubwordPrefix

String

Das Präfix, das an Unterworteinheiten angefügt werden soll, die keinen Wortanfang darstellen.

endOfWordSuffix

String

Das Suffix, das an Unterworteinheiten angefügt werden soll, die ein Wortende darstellen.