TokenizerResult Classe

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

L’encodage représente la sortie d’un générateur de jetons.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

Héritage

Object

TokenizerResult

Constructeurs

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

Créez un objet de l’objet TokenizerResult.

Propriétés

Ids	Obtient la liste des ID de jetons. Les ID sont l’entrée principale d’un modèle de langage. Il s’agit des index de jeton, les représentations numériques comprises par un LM.
NormalizedString	Obtient la forme normalisée de la chaîne d’origine.
Offsets	Obtient la liste des décalages. Ces décalages vous permettent de découper la chaîne d’entrée et de récupérer ainsi la partie d’origine qui a conduit à la production du jeton correspondant.
OffsetsMappedToOriginalString	Obtient la forme normalisée de la chaîne d’origine.
OriginalString	Obtient la chaîne d’origine avec jetons.
Tokens	Obtient les jetons générés. Il s’agit de la représentation sous forme de chaîne des ID.