Bpe.TokenToId(String) 메서드

정의

네임스페이스:

Microsoft.ML.Tokenizers

어셈블리:

Microsoft.ML.Tokenizers.dll

패키지:

Microsoft.ML.Tokenizers v0.21.1

토큰을 토큰화된 ID에 매핑합니다.

public override int? TokenToId (string token);

override this.TokenToId : string -> Nullable<int>

Public Overrides Function TokenToId (token As String) As Nullable(Of Integer)

매개 변수

token

String

ID에 매핑할 토큰입니다.

반환

Nullable<Int32>

토큰의 매핑된 ID입니다.