BpeTrainer Construtores

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Sobrecargas

BpeTrainer()	Construa um novo objeto BpeTrainer usando os valores padrão.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Construa um novo objeto BpeTrainer.

BpeTrainer()

Construa um novo objeto BpeTrainer usando os valores padrão.

public BpeTrainer ();

Public Sub New ()

BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)

Construa um novo objeto BpeTrainer.

public BpeTrainer (System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainer

Public Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parâmetros

specialTokens

IEnumerable<AddedToken>

A lista de tokens especiais que o modelo deve conhecer.

minFrequency

Int32

A frequência mínima que um par deve ter para ser mesclada.

vocabSize

Int32

o tamanho do vocabulário final, incluindo todos os tokens e alfabeto.

progress

ReportProgress

Retorno de chamada para as atualizações de progresso do treinamento.

limitAlphabet

Nullable<Int32>

A lista de caracteres a serem incluídos no alfabeto inicial.

initialAlphabet

HashSet<Char>

O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs

continuingSubwordPrefix

String

o prefixo a ser usado para cada sub-palavra que não é um início de palavra.

endOfWordSuffix

String

o sufixo a ser usado para cada sub-palavra que é um fim de palavra.