你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

LuceneStandardTokenizer 类

定义

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

按照 Unicode 文本分段规则划分文本。此 tokenizer 是使用 Apache Lucene 实现的。

public class LuceneStandardTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizer

type LuceneStandardTokenizer = class
    inherit LexicalTokenizer

Public Class LuceneStandardTokenizer
Inherits LexicalTokenizer

初始化 LuceneStandardTokenizer 的新实例。

MaxTokenLength	最大标记长度。默认值为 255。超过最大长度的标记将被拆分。可以使用的最大令牌长度为 300 个字符。
Name	tokenizer 的名称。它必须仅包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，且最多包含 128 个字符。 (继承自 LexicalTokenizer)