EnglishRoberta Classe

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Représente le modèle d’encodage de paire d’octets.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model

type EnglishRoberta = class
    inherit Model

Public NotInheritable Class EnglishRoberta
Inherits Model

Héritage

Object

Model

EnglishRoberta

Constructeurs

EnglishRoberta(Stream, Stream, Stream)	Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.
EnglishRoberta(String, String, String)	Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

Propriétés

PadIndex	Obtient l’index du symbole de pavé à l’intérieur de la liste des symboles.
SymbolsCount	Obtient la longueur de la liste des symboles.

Méthodes

AddMaskSymbol(String)	Ajoutez le symbole de masque à la liste des symboles.
GetTrainer()	Obtient un objet formateur à utiliser pour entraîner le modèle et générer le vocabulaire et fusionner les données.
GetVocab()	Obtient les jetons de mappage de dictionnaire aux ID.
GetVocabSize()	Obtient la taille du dictionnaire qui mappe les jetons aux ID.
IdsToOccurrenceRanks(IReadOnlyList<Int32>)	Convertissez une liste d’ID de jetons en classements d’occurrences les plus élevés.
IdsToOccurrenceValues(IReadOnlyList<Int32>)	Convertissez une liste d’ID de jetons en valeurs d’occurrence les plus élevées.
IdToString(Int32, Boolean)	Mapper l’ID jeton à la chaîne d’origine.
IdToToken(Int32, Boolean)	Mapper l’ID jeton au jeton.
IsValidChar(Char)	Représente le modèle d’encodage de paire d’octets.
OccurrenceRanksIds(IReadOnlyList<Int32>)	Convertissez une liste de classements d’occurrences les plus élevés en liste d’ID de jetons .
Save(String, String)	Enregistrez les données du modèle dans les fichiers de vocabulaire, de fusions et de mappage d’occurrences.
Tokenize(String)	Jetonsez une chaîne de séquence en une liste de jetons.
TokenToId(String)	Mapper le jeton à l’ID jeton.