Tokenizer Klasse

Definition

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paket:

Microsoft.ML.Tokenizers v0.21.1

Ein Tokenizer funktioniert als Pipeline. Es verarbeitet unformatierten Text als Eingabe und gibt ein TokenizerResult-Objekt aus.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Vererbung

Object

Tokenizer

Konstruktoren

Tokenizer(Model, PreTokenizer, Normalizer)

Erstellen Sie ein neues Tokenizer-Objekt.

Eigenschaften

Decoder	Ruft den decoder ab, der vom Tokenizer verwendet wird, oder legt diesen fest.
Model	Ruft das modell ab, das vom Tokenizer verwendet wird.
Normalizer	Ruft den normalisierer ab, der vom Tokenizer verwendet wird, oder legt diesen fest.
PreTokenizer	Ruft den vom Tokenizer verwendeten PreTokenizer ab oder legt diese fest.

Methoden

Decode(IEnumerable<Int32>, Boolean)	Decodieren Sie die angegebenen IDs zurück zu einer Zeichenfolge.
Decode(Int32, Boolean)	Decodiert die ID mit dem zugeordneten Token.
Encode(String)	Codiert Eingabetext in ein Objekt mit der Tokenliste, Token-IDs und Tokenoffsetzuordnung.
IsValidChar(Char)	Ein Tokenizer funktioniert als Pipeline. Es verarbeitet unformatierten Text als Eingabe und gibt ein TokenizerResult-Objekt aus.
TrainFromFiles(Trainer, ReportProgress, String[])	Trainieren Sie das Tokenizermodell mithilfe von Eingabedateien.