Tokenizer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Stellt eine Standardmäßige Tokenizerimplementierung bereit.
public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
- Vererbung
-
Tokenizer
Konstruktoren
Tokenizer() |
Stellt eine Standardmäßige Tokenizerimplementierung bereit. |
Eigenschaften
DefaultTokenizer |
Ruft die Standardimplementierung TokenizerFunction ab. |
Methoden
DefaultTokenizerImpl(String, String) |
Einfacher Tokenizer, der Leerzeichen und Interpunktion unterbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben. |