Compartilhar via


Tokenizer Classe

Definição

Fornece uma implementação padrão do criador de tokens.

public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
Herança
Tokenizer

Construtores

Tokenizer()

Fornece uma implementação padrão do criador de tokens.

Propriedades

DefaultTokenizer

Obtém a implementação padrão TokenizerFunction .

Métodos

DefaultTokenizerImpl(String, String)

Tokenizer simples que quebra em espaços e pontuação. A única normalização feita é em minúsculas.

Aplica-se a