Token interface
Token individual devuelto por un TokenizerFunction
.
Propiedades
end | Posición de carácter final del token dentro de la cadena externa. |
normalized | Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización. |
start | Inicie la posición del carácter del token dentro de la cadena externa. |
text | Texto original del token. |
Detalles de las propiedades
end
Posición de carácter final del token dentro de la cadena externa.
end: number
Valor de propiedad
number
normalized
Forma normalizada del token. Esto puede incluir cosas como minúsculas o lematización.
normalized: string
Valor de propiedad
string
start
Inicie la posición del carácter del token dentro de la cadena externa.
start: number
Valor de propiedad
number
text
Texto original del token.
text: string
Valor de propiedad
string