Bpe Classe

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Représente le modèle d’encodage de paire d’octets.

public sealed class Bpe : Microsoft.ML.Tokenizers.Model

type Bpe = class
    inherit Model

Public NotInheritable Class Bpe
Inherits Model

Héritage

Object

Model

Bpe

Constructeurs

Bpe()	Construisez un nouvel objet de modèle Bpe sans vocabulaire de jeton. Ce constructeur n’est utile que dans le scénario d’entraînement.
Bpe(String, String, String, String, String)	Construisez un nouvel objet de modèle Bpe à utiliser pour la tokenisation de phrase et l’entraînement du générateur de jetons.

Propriétés

ContinuingSubwordPrefix	Préfixe facultatif à utiliser sur n’importe quel sous-mot qui n’existe que derrière un autre
Decoder	Obtient l’objet décodeur Bpe.
EndOfWordSuffix	Suffixe facultatif pour caractériser et le sous-mot de fin de mot
FuseUnknownTokens	Obtient ou définit si l’autorisation de fusion de plusieurs jetons inconnus
UnknownToken	Obtient ou Définit un jeton inconnu. Jeton inconnu à utiliser lorsque nous rencontrons un caractère inconnu

Méthodes

GetTrainer()	Obtient un objet formateur à utiliser pour entraîner le modèle et générer le vocabulaire et fusionner les données.
GetVocab()	Obtient les jetons de mappage de dictionnaire aux ID.
GetVocabSize()	Obtient la taille du dictionnaire qui mappe les jetons aux ID.
IdToString(Int32, Boolean)	Mapper l’ID jeton au jeton.
IdToToken(Int32, Boolean)	Mapper l’ID jeton au jeton.
IsValidChar(Char)	Représente le modèle d’encodage de paire d’octets.
Save(String, String)	Enregistrez les données du modèle dans les fichiers de vocabulaire et fusionnez.
Tokenize(String)	Jetonsez une chaîne de séquence en une liste de jetons.
TokenToId(String)	Mapper le jeton à l’ID jeton.