TokenizerFunction type
Assinatura para um separador de palavras alternativo que pode ser passado para recognizeChoices()
, findChoices()
ou findValues()
.
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
Comentários
O defaultTokenizer()
é bastante simples e apenas quebra em espaços e pontuação.