Bpe.TokenToId(String) メソッド

定義

名前空間:

Microsoft.ML.Tokenizers

アセンブリ:

Microsoft.ML.Tokenizers.dll

パッケージ:

Microsoft.ML.Tokenizers v0.21.1

トークンをトークン化された ID にマップします。

public override int? TokenToId (string token);

override this.TokenToId : string -> Nullable<int>

Public Overrides Function TokenToId (token As String) As Nullable(Of Integer)

パラメーター

token

String

ID にマップするトークン。

戻り値

Nullable<Int32>

トークンのマップされた ID。