Bpe Constructores

Definición

Espacio de nombres:

Microsoft.ML.Tokenizers

Ensamblado:

Microsoft.ML.Tokenizers.dll

Paquete:

Microsoft.ML.Tokenizers v0.21.1

Sobrecargas

Bpe()	Construya un nuevo objeto de modelo Bpe sin vocabulario de tokenización. Este constructor solo es útil en el escenario de entrenamiento.
Bpe(String, String, String, String, String)	Construya un nuevo objeto de modelo Bpe que se usará para la tokenización de oraciones y el entrenamiento del tokenizador.

Bpe()

Construya un nuevo objeto de modelo Bpe sin vocabulario de tokenización. Este constructor solo es útil en el escenario de entrenamiento.

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

Construya un nuevo objeto de modelo Bpe que se usará para la tokenización de oraciones y el entrenamiento del tokenizador.

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parámetros

vocabFile

String

Ruta de acceso del archivo JSON que contiene el diccionario de claves de cadena y sus identificadores.

mergesFile

String

Ruta de acceso del archivo que contiene la lista de pares de tokens.

unknownToken

String

Token desconocido que va a usar el modelo.

continuingSubwordPrefix

String

Prefijo que se va a asociar a unidades de sub word que no representan un principio de palabra.

endOfWordSuffix

String

Sufijo que se va a adjuntar a unidades de sub word que representan un final de palabra.