BpeTrainer Constructeurs

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Surcharges

BpeTrainer()	Construisez un nouvel objet BpeTrainer à l’aide des valeurs par défaut.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Construisez un nouvel objet BpeTrainer.

BpeTrainer()

Construisez un nouvel objet BpeTrainer à l’aide des valeurs par défaut.

public BpeTrainer ();

Public Sub New ()

BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)

Construisez un nouvel objet BpeTrainer.

public BpeTrainer (System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainer

Public Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Paramètres

specialTokens

IEnumerable<AddedToken>

Liste des jetons spéciaux que le modèle doit connaître.

minFrequency

Int32

Fréquence minimale qu’une paire doit avoir pour être fusionnée.

vocabSize

Int32

la taille du vocabulaire final, y compris tous les jetons et l’alphabet.

progress

ReportProgress

Rappel pour les mises à jour de la progression de l’entraînement.

limitAlphabet

Nullable<Int32>

Liste des caractères à inclure dans l’alphabet initial.

initialAlphabet

HashSet<Char>

Chemin du fichier JSON contenant le dictionnaire des clés de chaîne et leurs ID

continuingSubwordPrefix

String

préfixe à utiliser pour chaque sous-mot qui n’est pas un début de mot.

endOfWordSuffix

String

suffixe à utiliser pour chaque sous-mot qui est une fin de mot.