Bpe Konstruktory

Definice

Obor názvů:

Microsoft.ML.Tokenizers

Sestavení:

Microsoft.ML.Tokenizers.dll

Balíček:

Microsoft.ML.Tokenizers v0.21.1

Přetížení

Bpe()	Vytvořte nový objekt modelu BPE bez slovníku tokenizace. Tento konstruktor je užitečný pouze ve scénáři trénování.
Bpe(String, String, String, String, String)	Vytvořte nový objekt modelu BPE, který se použije pro tokenizaci vět a trénování tokenizátoru.

Bpe()

Vytvořte nový objekt modelu BPE bez slovníku tokenizace. Tento konstruktor je užitečný pouze ve scénáři trénování.

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

Vytvořte nový objekt modelu BPE, který se použije pro tokenizaci vět a trénování tokenizátoru.

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parametry

vocabFile

String

Cesta k souboru JSON obsahující slovník řetězcových klíčů a jejich ID.

mergesFile

String

Cesta k souboru obsahující seznam párů tokenů.

unknownToken

String

Neznámý token, který má model použít.

continuingSubwordPrefix

String

Předpona, která se připojí k jednotkám dílčího slova, které nepředstavují začátek slova.

endOfWordSuffix

String

Přípona, která se má připojit k jednotkám podsloví, které představují konec slova.