你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

LuceneStandardTokenizer interface

包:

@azure/search-documents

按照 Unicode 文本分段规则划分文本。 此 tokenizer 是使用 Apache Lucene 实现的。

属性

maxTokenLength	最大标记长度。 默认值为 255。 超过最大长度的标记将被拆分。 可以使用的最大令牌长度为 300 个字符。 默认值：255。
name	tokenizer 的名称。 它必须仅包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，且最多包含 128 个字符。
odatatype	多态鉴别器

属性详细信息

maxTokenLength

最大标记长度。 默认值为 255。 超过最大长度的标记将被拆分。 可以使用的最大令牌长度为 300 个字符。 默认值：255。

maxTokenLength?: number

属性值

number

name

tokenizer 的名称。 它必须仅包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，且最多包含 128 个字符。

name: string

属性值

string

odatatype

多态鉴别器

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

属性值

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"