Tokenizer Clase

Definición

Espacio de nombres:

Microsoft.ML.Tokenizers

Ensamblado:

Microsoft.ML.Tokenizers.dll

Paquete:

Microsoft.ML.Tokenizers v0.21.1

Un tokenizador funciona como una canalización. Procesa texto sin formato como entrada y genera un objeto TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Herencia

Object

Tokenizer

Constructores

Tokenizer(Model, PreTokenizer, Normalizer)

Cree un nuevo objeto Tokenizer.

Propiedades

Decoder	Obtiene o establece el descodificador en uso por el tokenizador.
Model	Obtiene el modelo en uso por el tokenizador.
Normalizer	Obtiene o establece el normalizador en uso por el tokenizador.
PreTokenizer	Obtiene o establece el preTokenizer usado por el tokenizador.

Métodos

Decode(IEnumerable<Int32>, Boolean)	Descodifique los identificadores especificados, de nuevo en una cadena.
Decode(Int32, Boolean)	Descodifica el identificador en el token asignado.
Encode(String)	Codifica el texto de entrada en el objeto con la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.
IsValidChar(Char)	Un tokenizador funciona como una canalización. Procesa texto sin formato como entrada y genera un objeto TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Entrene el modelo de tokenizador mediante archivos de entrada.