Token interface
Token individual retornado por um TokenizerFunction
.
Propriedades
end | Posição do caractere final do token dentro da cadeia de caracteres externa. |
normalized | Forma normalizada do token. Isso pode incluir itens como maiúsculas ou minúsculas. |
start | Iniciar a posição do caractere do token dentro da cadeia de caracteres externa. |
text | Texto original do token. |
Detalhes da propriedade
end
Posição do caractere final do token dentro da cadeia de caracteres externa.
end: number
Valor da propriedade
number
normalized
Forma normalizada do token. Isso pode incluir itens como maiúsculas ou minúsculas.
normalized: string
Valor da propriedade
string
start
Iniciar a posição do caractere do token dentro da cadeia de caracteres externa.
start: number
Valor da propriedade
number
text
Texto original do token.
text: string
Valor da propriedade
string