Compartilhar via

LuceneStandardTokenizer interface

  • Referência
Pacote:
@azure/search-documents

Quebra o texto seguindo as regras de Segmentação de Texto Unicode. Esse criador de tokens é implementado usando o Apache Lucene.

Propriedades

maxTokenLength

O comprimento máximo do token. O padrão é 255. Tokens maiores do que o tamanho máximo são divididos. O comprimento máximo do token que pode ser usado é de 300 caracteres. Valor padrão: 255.
name

O nome do criador de tokens. Deve conter apenas letras, números, espaços, traços ou sublinhados, pode começar e terminar apenas com caracteres alfanuméricos e está limitado a 128 caracteres.
odatatype

Discriminador polimórfico

Detalhes da propriedade

maxTokenLength

O comprimento máximo do token. O padrão é 255. Tokens maiores do que o tamanho máximo são divididos. O comprimento máximo do token que pode ser usado é de 300 caracteres. Valor padrão: 255.

maxTokenLength?: number

Valor da propriedade

number

name

O nome do criador de tokens. Deve conter apenas letras, números, espaços, traços ou sublinhados, pode começar e terminar apenas com caracteres alfanuméricos e está limitado a 128 caracteres.

name: string

Valor da propriedade

string

odatatype

Discriminador polimórfico

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

Valor da propriedade

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"