Compartilhar via


Token interface

Token individual retornado por um TokenizerFunction.

Propriedades

end

Posição do caractere final do token dentro da cadeia de caracteres externa.

normalized

Forma normalizada do token. Isso pode incluir itens como maiúsculas ou minúsculas.

start

Iniciar a posição do caractere do token dentro da cadeia de caracteres externa.

text

Texto original do token.

Detalhes da propriedade

end

Posição do caractere final do token dentro da cadeia de caracteres externa.

end: number

Valor da propriedade

number

normalized

Forma normalizada do token. Isso pode incluir itens como maiúsculas ou minúsculas.

normalized: string

Valor da propriedade

string

start

Iniciar a posição do caractere do token dentro da cadeia de caracteres externa.

start: number

Valor da propriedade

number

text

Texto original do token.

text: string

Valor da propriedade

string