TokenizerFunction type
Signatur für eine alternative Worttrennung, die an recognizeChoices()
, findChoices()
oder findValues()
übergeben werden kann.
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
Hinweise
Die defaultTokenizer()
ist relativ einfach und bricht nur auf Leerzeichen und Interpunktion.