Condividi tramite

MicrosoftLanguageTokenizer interface

  • Riferimento
Pacchetto:
@azure/search-documents

Divide il testo usando le regole specifiche della lingua.

Extends
BaseLexicalTokenizer

Proprietà

isSearchTokenizer

Valore che indica come viene usato il tokenizer. Impostare su true se usato come tokenizer di ricerca, impostare su false se usato come tokenizzatore di indicizzazione. L'impostazione predefinita è false.
language

Lingua da usare. Il valore predefinito è inglese.
maxTokenLength

Lunghezza massima del token. I token con lunghezza superiore a quella massima vengono suddivisi. Lunghezza massima del token che può essere usata è di 300 caratteri. I token più lunghi di 300 caratteri vengono prima suddivisi in token di lunghezza 300 e quindi ognuno di questi token viene suddiviso in base al set di lunghezza massima del token. Il valore predefinito è 255.
odatatype

Discriminazione polimorfica, che specifica i diversi tipi che questo oggetto può essere

Proprietà ereditate

name

Nome del tokenizer. Può contenere solo lettere, numeri, spazi, trattini o caratteri di sottolineatura, deve iniziare e terminare con caratteri alfanumerici e non può contenere più di 128 caratteri.

Dettagli proprietà

isSearchTokenizer

Valore che indica come viene usato il tokenizer. Impostare su true se usato come tokenizer di ricerca, impostare su false se usato come tokenizzatore di indicizzazione. L'impostazione predefinita è false.

isSearchTokenizer?: boolean

Valore della proprietà

boolean

language

Lingua da usare. Il valore predefinito è inglese.

language?: MicrosoftTokenizerLanguage

Valore della proprietà

MicrosoftTokenizerLanguage

maxTokenLength

Lunghezza massima del token. I token con lunghezza superiore a quella massima vengono suddivisi. Lunghezza massima del token che può essere usata è di 300 caratteri. I token più lunghi di 300 caratteri vengono prima suddivisi in token di lunghezza 300 e quindi ognuno di questi token viene suddiviso in base al set di lunghezza massima del token. Il valore predefinito è 255.

maxTokenLength?: number

Valore della proprietà

number

odatatype

Discriminazione polimorfica, che specifica i diversi tipi che questo oggetto può essere

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Valore della proprietà

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Dettagli proprietà ereditate

name

Nome del tokenizer. Può contenere solo lettere, numeri, spazi, trattini o caratteri di sottolineatura, deve iniziare e terminare con caratteri alfanumerici e non può contenere più di 128 caratteri.

name: string

Valore della proprietà

string

Ereditato daBaseLexicalTokenizer.name