Tokenizer Класс
Определение
Важно!
Некоторые сведения относятся к предварительной версии продукта, в которую до выпуска могут быть внесены существенные изменения. Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, относительно приведенных здесь сведений.
Предоставляет реализацию создателя маркеров по умолчанию.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Наследование
-
Tokenizer
Конструкторы
| Tokenizer() |
Предоставляет реализацию создателя маркеров по умолчанию. |
Свойства
| DefaultTokenizer |
Возвращает реализацию по умолчанию TokenizerFunction . |
Методы
| DefaultTokenizerImpl(String, String) |
Простой создатель маркеров, который разбивается на пробелы и знаки препинания. Единственная нормализация выполняется в нижнем регистре. |