Sdílet prostřednictvím

Token Třída

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Představuje token vytvořený procesem tokenizace obsahující podřetězcec tokenu, ID přidružené k podřetězci tokenu a mapování posunu na původní řetězec.

public sealed class Token
type Token = class
Public NotInheritable Class Token
Dědičnost
Object
Token

Konstruktory

Token(Int32, String, ValueTuple<Int32,Int32>)

Vytvořte nový objekt tokenu pomocí hodnoty tokenu, ID a mapování posunu na původní řetězec.

Vlastnosti

Id

Získá nebo nastaví hodnotu ID přidruženou k tokenu.
Offset

Získá nebo nastaví mapování posunu na původní řetězec.
Value

Získá nebo nastaví hodnotu řetězce tokenu.

Platí pro