Udostępnij za pośrednictwem


Tokenizer Klasa

Definicja

Zapewnia domyślną implementację tokenizatora.

public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
Dziedziczenie
Tokenizer

Konstruktory

Tokenizer()

Zapewnia domyślną implementację tokenizatora.

Właściwości

DefaultTokenizer

Pobiera domyślną TokenizerFunction implementację.

Metody

DefaultTokenizerImpl(String, String)

Prosty tokenizator, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest małe litery.

Dotyczy