BpeTrainer Konstruktory

Definice

Obor názvů:

Microsoft.ML.Tokenizers

Sestavení:

Microsoft.ML.Tokenizers.dll

Balíček:

Microsoft.ML.Tokenizers v0.20.1

Přetížení

BpeTrainer()	Vytvořte nový BpeTrainer objekt pomocí výchozích hodnot.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	Vytvořte nový BpeTrainer objektu.

BpeTrainer()

Vytvořte nový BpeTrainer objekt pomocí výchozích hodnot.

public BpeTrainer();

Public Sub New ()

BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)

Vytvořte nový BpeTrainer objektu.

public BpeTrainer(System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainer

Public Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parametry

specialTokens

IEnumerable<AddedToken>

Seznam speciálních tokenů, o kterých by model měl znát.

minFrequency

Int32

Minimální frekvence, která by pár měla mít, aby se sloučila.

vocabSize

Int32

velikost konečného slovníku, včetně všech tokenů a abecedy.

progress

ReportProgress

Zpětné volání pro aktualizace průběhu trénování

limitAlphabet

Nullable<Int32>

Seznam znaků, které se mají zahrnout do počáteční abecedy.

initialAlphabet

HashSet<Char>

Cesta k souboru JSON obsahující slovník řetězcových klíčů a jejich ID

continuingSubwordPrefix

String

předpona, která se má použít pro každé dílčí slovo, které není začátek slova.

endOfWordSuffix

String

přípona, která se má použít pro každé dílčí slovo, které je na konci slova.