다음을 통해 공유


Token 클래스

정의

토큰 부분 문자열, 토큰 부분 문자열에 연결된 ID 및 원래 문자열에 대한 오프셋 매핑을 포함하는 토큰화 프로세스에서 생성된 토큰을 나타냅니다.

public sealed class Token
type Token = class
Public NotInheritable Class Token
상속
Token

생성자

Token(Int32, String, ValueTuple<Int32,Int32>)

토큰 값, ID 및 원래 문자열에 대한 오프셋 매핑을 사용하여 새 토큰 개체를 생성합니다.

속성

Id

토큰에 연결된 ID 값을 가져오거나 설정합니다.

Offset

원래 문자열에 대한 오프셋 매핑을 가져오거나 설정합니다.

Value

토큰 문자열 값을 가져오거나 설정합니다.

적용 대상