BpeTrainer Classe

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Formateur Bpe responsable de l’apprentissage du modèle Bpe.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

Héritage

Object

Trainer

BpeTrainer

Constructeurs

BpeTrainer()	Construisez un nouvel objet BpeTrainer à l’aide des valeurs par défaut.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Construisez un nouvel objet BpeTrainer.

Propriétés

ContinuingSubwordPrefix	Obtient le préfixe à utiliser pour chaque sous-mot qui n’est pas un début de mot.
EndOfWordSuffix	Obtient le suffixe à utiliser pour chaque sous-mot qui est une fin de mot.
InitialAlphabet	Obtient la liste des caractères à inclure dans l’alphabet initial, même s’ils ne figurent pas dans le jeu de données d’entraînement. Si les chaînes contiennent plusieurs caractères, seul le premier est conservé.
LimitAlphabet	Obtient le nombre maximal de caractères différents à conserver dans l’alphabet.
MinFrequency	Obtient la fréquence minimale qu’une paire doit avoir pour être fusionnée.
Progress	Définissez quand vous devez signaler la progression pendant l’entraînement. (Hérité de Trainer)
SpecialTokens	Obtient la liste des jetons spéciaux que le modèle doit connaître.
VocabSize	Obtient la taille du vocabulaire final, y compris tous les jetons et l’alphabet.

Méthodes

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	Traitez les séquences d’entrée et alimentez le résultat dans le modèle.
Train(Model)	Effectuez l’entraînement réel et mettez à jour le modèle d’entrée avec les nouvelles données de vocabulaire et de fusion.