Bpe Construtores

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Sobrecargas

Bpe()	Construa um novo objeto de modelo Bpe sem vocabulário de geração de tokens. Esse construtor é útil apenas no cenário de treinamento.
Bpe(String, String, String, String, String)	Construa um novo objeto de modelo Bpe a ser usado para treinamento de tokens e tokenizer de sentença.

Bpe()

Construa um novo objeto de modelo Bpe sem vocabulário de geração de tokens. Esse construtor é útil apenas no cenário de treinamento.

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

Construa um novo objeto de modelo Bpe a ser usado para treinamento de tokens e tokenizer de sentença.

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parâmetros

vocabFile

String

O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.

mergesFile

String

O caminho do arquivo que contém a lista de pares dos tokens.

unknownToken

String

O token desconhecido a ser usado pelo modelo.

continuingSubwordPrefix

String

O prefixo a ser anexado a unidades de sub-palavra que não representam um início de palavra.

endOfWordSuffix

String

O sufixo a ser anexado a unidades de sub-palavra que representam o fim da palavra.