Tokenizer Classe

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.21.1

Un générateur de jetons fonctionne comme un pipeline. Il traite du texte brut en tant qu’entrée et génère un objet TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Héritage

Object

Tokenizer

Constructeurs

Tokenizer(Model, PreTokenizer, Normalizer)

Créez un objet Tokenizer.

Propriétés

Decoder	Obtient ou définit le décodeur utilisé par tokenizer.
Model	Obtient le modèle utilisé par le générateur de jetons.
Normalizer	Obtient ou définit le normaliseur utilisé par le générateur de jetons.
PreTokenizer	Obtient ou définit le preTokenizer utilisé par tokenizer.

Méthodes

Decode(IEnumerable<Int32>, Boolean)	Décodez les ID donnés, en revenir à une chaîne.
Decode(Int32, Boolean)	Décode l’ID en jeton mappé.
Encode(String)	Encode le texte d’entrée en objet a la liste de jetons, les ID de jetons, le mappage de décalage de jetons.
IsValidChar(Char)	Un générateur de jetons fonctionne comme un pipeline. Il traite du texte brut en tant qu’entrée et génère un objet TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Entraînez le modèle de générateur de jetons à l’aide de fichiers d’entrée.