Freigeben über


TokenizerFunction type

Signatur für eine alternative Worttrennung, die an recognizeChoices(), findChoices()oder findValues()übergeben werden kann.

type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]

Hinweise

Die defaultTokenizer() ist relativ einfach und bricht nur auf Leerzeichen und Interpunktion.