Tokenizer Classe
Definição
Importante
Algumas informações dizem respeito a um produto pré-lançado que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, de forma expressa ou implícita, em relação à informação aqui apresentada.
Fornece uma implementação de tokenizer predefinida.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Herança
-
Tokenizer
Construtores
| Tokenizer() |
Fornece uma implementação de tokenizer predefinida. |
Propriedades
| DefaultTokenizer |
Obtém a implementação predefinida TokenizerFunction . |
Métodos
| DefaultTokenizerImpl(String, String) |
Tokenizer simples que quebra em espaços e pontuação. A única normalização feita é em minúsculas. |