Model クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。
public abstract class Model
type Model = class
Public MustInherit Class Model
- 継承
-
Model
- 派生
コンストラクター
Model() |
トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。 |
メソッド
GetTrainer() |
モデルのトレーニングに使用するトレーナー オブジェクトを取得します。 |
GetVocab() |
ID へのディクショナリ マッピング トークンを取得します。 |
GetVocabSize() |
トークンを ID にマップするディクショナリ サイズを取得します。 |
IdToString(Int32, Boolean) |
トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。 |
IdToToken(Int32, Boolean) |
トークン化された ID をトークンにマップします。 |
IsValidChar(Char) |
トークナイザーで char が有効な場合は true を返します。それ以外の場合は false を返します。 |
Save(String, String) |
モデル データをボキャブラリに保存し、ファイルをマージします。 |
Tokenize(String) |
シーケンス文字列をトークンの一覧にトークン化します。 |
TokenToId(String) |
トークンをトークン化された ID にマップします。 |