Sdílet prostřednictvím

Bpe.TokenToId(String) Metoda

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.20.1

Namapujte token na tokenizované ID.

public override int? TokenToId(string token);
override this.TokenToId : string -> Nullable<int>
Public Overrides Function TokenToId (token As String) As Nullable(Of Integer)

Parametry

token
String

Token pro mapování na ID.

Návraty

Nullable<Int32>

Mapované ID tokenu.

Platí pro