Compartir a través de


Model Clase

Definición

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

public abstract class Model
type Model = class
Public MustInherit Class Model
Herencia
Model
Derivado

Constructores

Model()

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

Métodos

GetTrainer()

Obtiene un objeto trainer que se va a usar en el entrenamiento del modelo.

GetVocab()

Obtiene los tokens de asignación de diccionarios a Ids.

GetVocabSize()

Obtiene el tamaño del diccionario que asigna tokens a Ids.

IdToString(Int32, Boolean)

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

IdToToken(Int32, Boolean)

Asigne el identificador tokenizado al token.

IsValidChar(Char)

Devuelve true si el carácter es válido en el tokenizador; De lo contrario, devuelve false.

Save(String, String)

Guarde los datos del modelo en el vocabulario y combine los archivos.

Tokenize(String)

Tokenice una cadena de secuencia en una lista de tokens.

TokenToId(String)

Asigne el token al identificador tokenizado.

Se aplica a