Partager via

ClassicTokenizer interface

  • Référence
Paquet:
@azure/search-documents

Générateur de jetons basé sur la grammaire adapté au traitement de la plupart des documents en langue européenne. Ce générateur de jetons est implémenté à l’aide d’Apache Lucene.

Extends
BaseLexicalTokenizer

Propriétés

maxTokenLength

Longueur maximale du jeton. La valeur par défaut est 255. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale du jeton pouvant être utilisée est de 300 caractères.
odatatype

Discriminateur polymorphe, qui spécifie les différents types que cet objet peut être

Propriétés héritées

name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

Détails de la propriété

maxTokenLength

Longueur maximale du jeton. La valeur par défaut est 255. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale du jeton pouvant être utilisée est de 300 caractères.

maxTokenLength?: number

Valeur de propriété

number

odatatype

Discriminateur polymorphe, qui spécifie les différents types que cet objet peut être

odatatype: "#Microsoft.Azure.Search.ClassicTokenizer"

Valeur de propriété

"#Microsoft.Azure.Search.ClassicTokenizer"

Détails de la propriété héritée

name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

name: string

Valeur de propriété

string

Hérité deBaseLexicalTokenizer.name