TokenizerFunction type
Firma para un separador de palabras alternativo que se puede pasar a recognizeChoices()
, findChoices()
o findValues()
.
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
Comentarios
El defaultTokenizer()
es bastante sencillo y solo se rompe en espacios y puntuación.