Bpe Clase

Definición

Espacio de nombres:

Microsoft.ML.Tokenizers

Ensamblado:

Microsoft.ML.Tokenizers.dll

Paquete:

Microsoft.ML.Tokenizers v0.21.1

Representa el modelo de codificación de par de bytes.

public sealed class Bpe : Microsoft.ML.Tokenizers.Model

type Bpe = class
    inherit Model

Public NotInheritable Class Bpe
Inherits Model

Herencia

Object

Model

Bpe

Constructores

Bpe()	Construya un nuevo objeto de modelo Bpe sin vocabulario de tokenización. Este constructor solo es útil en el escenario de entrenamiento.
Bpe(String, String, String, String, String)	Construya un nuevo objeto de modelo Bpe que se usará para la tokenización de oraciones y el entrenamiento del tokenizador.

Propiedades

ContinuingSubwordPrefix	Prefijo opcional que se va a usar en cualquier sub word que solo exista detrás de otro.
Decoder	Obtiene el objeto de descodificador Bpe.
EndOfWordSuffix	Un sufijo opcional para caracterizar y finalizar la subdirección de palabras
FuseUnknownTokens	Obtiene o establece si se permiten varios tokens desconocidos se fusionan.
UnknownToken	Obtiene o establece un token desconocido. Token desconocido que se va a usar cuando se encuentra un carácter desconocido

Métodos

GetTrainer()	Obtiene un objeto trainer que se va a usar en el entrenamiento del modelo y genera el vocabulario y combina los datos.
GetVocab()	Obtiene los tokens de asignación de diccionarios a Ids.
GetVocabSize()	Obtiene el tamaño del diccionario que asigna tokens a Ids.
IdToString(Int32, Boolean)	Asigne el identificador tokenizado al token.
IdToToken(Int32, Boolean)	Asigne el identificador tokenizado al token.
IsValidChar(Char)	Representa el modelo de codificación de par de bytes.
Save(String, String)	Guarde los datos del modelo en el vocabulario y combine los archivos.
Tokenize(String)	Tokenice una cadena de secuencia en una lista de tokens.
TokenToId(String)	Asigne el token al identificador tokenizado.