Compartir a través de


TokenizerFunction type

Firma para un separador de palabras alternativo que se puede pasar a recognizeChoices(), findChoices()o findValues().

type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]

Comentarios

El defaultTokenizer() es bastante sencillo y solo se rompe en espacios y puntuación.