Bpe Constructeurs

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Surcharges

Bpe()	Construisez un nouvel objet de modèle Bpe sans vocabulaire de création de jetons. Ce constructeur n’est utile que dans le scénario d’entraînement.
Bpe(String, String, String, String, String)	Construisez un nouvel objet de modèle Bpe à utiliser pour la tokenisation de phrases et l’entraînement du générateur de jetons.

Bpe()

Construisez un nouvel objet de modèle Bpe sans vocabulaire de création de jetons. Ce constructeur n’est utile que dans le scénario d’entraînement.

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

Construisez un nouvel objet de modèle Bpe à utiliser pour la tokenisation de phrases et l’entraînement du générateur de jetons.

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Paramètres

vocabFile

String

Chemin d’accès au fichier JSON contenant le dictionnaire des clés de chaîne et leurs ID.

mergesFile

String

Chemin d’accès au fichier contenant la liste des paires de jetons.

unknownToken

String

Jeton inconnu à utiliser par le modèle.

continuingSubwordPrefix

String

Préfixe à attacher à des unités de sous-mots qui ne représentent pas un début de mot.

endOfWordSuffix

String

Suffixe à attacher à des unités de sous-mots qui représentent une fin de mot.