Bpe コンストラクター

定義

名前空間:

Microsoft.ML.Tokenizers

アセンブリ:

Microsoft.ML.Tokenizers.dll

パッケージ:

Microsoft.ML.Tokenizers v0.21.1

オーバーロード

Bpe()	トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。
Bpe(String, String, String, String, String)	文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

Bpe()

トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

パラメーター

vocabFile

String

文字列キーのディクショナリとその ID を含む JSON ファイル パス。

mergesFile

String

トークンのペア リストを含むファイル パス。

unknownToken

String

モデルで使用される不明なトークン。

continuingSubwordPrefix

String

単語の先頭を表さないサブワード単位にアタッチするプレフィックス。

endOfWordSuffix

String

単語の末尾を表すサブワード単位にアタッチするサフィックス。