次の方法で共有


Model クラス

定義

トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。

public abstract class Model
type Model = class
Public MustInherit Class Model
継承
Model
派生

コンストラクター

Model()

トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。

メソッド

GetTrainer()

モデルのトレーニングに使用するトレーナー オブジェクトを取得します。

GetVocab()

ID へのディクショナリ マッピング トークンを取得します。

GetVocabSize()

トークンを ID にマップするディクショナリ サイズを取得します。

IdToString(Int32, Boolean)

トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。

IdToToken(Int32, Boolean)

トークン化された ID をトークンにマップします。

IsValidChar(Char)

トークナイザーで char が有効な場合は true を返します。それ以外の場合は false を返します。

Save(String, String)

モデル データをボキャブラリに保存し、ファイルをマージします。

Tokenize(String)

シーケンス文字列をトークンの一覧にトークン化します。

TokenToId(String)

トークンをトークン化された ID にマップします。

適用対象