Compartir a través de


Token interface

Token individual devuelto por un TokenizerFunction.

Propiedades

end

Posición de carácter final del token dentro de la cadena externa.

normalized

Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización.

start

Inicie la posición del carácter del token dentro de la cadena externa.

text

Texto original del token.

Detalles de las propiedades

end

Posición de carácter final del token dentro de la cadena externa.

end: number

Valor de propiedad

number

normalized

Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización.

normalized: string

Valor de propiedad

string

start

Inicie la posición del carácter del token dentro de la cadena externa.

start: number

Valor de propiedad

number

text

Texto original del token.

text: string

Valor de propiedad

string