Dela via

MicrosoftLanguageTokenizer interface

  • Referens
Paket:
@azure/search-documents

Delar upp text med hjälp av språkspecifika regler.

Extends
BaseLexicalTokenizer

Egenskaper

isSearchTokenizer

Ett värde som anger hur tokenizern används. Ställ in på sant om det används som söktokeniserare och ange till false om det används som indexeringstokeniserare. Standardvärdet är falskt.
language

Språket som ska användas. Standardvärdet är engelska.
maxTokenLength

Maximal tokenlängd. Token som är längre än den maximala längden delas upp. Maximal tokenlängd som kan användas är 300 tecken. Token som är längre än 300 tecken delas först upp i token med längd 300 och sedan delas var och en av dessa token upp baserat på den maximala tokenlängdsuppsättningen. Standardvärdet är 255.
odatatype

Polymorft diskriminerande, vilket anger de olika typer som det här objektet kan vara

Ärvda egenskaper

name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, kan bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.

Egenskapsinformation

isSearchTokenizer

Ett värde som anger hur tokenizern används. Ställ in på sant om det används som söktokeniserare och ange till false om det används som indexeringstokeniserare. Standardvärdet är falskt.

isSearchTokenizer?: boolean

Egenskapsvärde

boolean

language

Språket som ska användas. Standardvärdet är engelska.

language?: MicrosoftTokenizerLanguage

Egenskapsvärde

MicrosoftTokenizerLanguage

maxTokenLength

Maximal tokenlängd. Token som är längre än den maximala längden delas upp. Maximal tokenlängd som kan användas är 300 tecken. Token som är längre än 300 tecken delas först upp i token med längd 300 och sedan delas var och en av dessa token upp baserat på den maximala tokenlängdsuppsättningen. Standardvärdet är 255.

maxTokenLength?: number

Egenskapsvärde

number

odatatype

Polymorft diskriminerande, vilket anger de olika typer som det här objektet kan vara

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Egenskapsvärde

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Information om ärvda egenskaper

name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, kan bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.

name: string

Egenskapsvärde

string

ärvd frånBaseLexicalTokenizer.name