Tokenizer Třída
Definice
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Poskytuje výchozí implementaci tokenizátoru.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- Dědičnost
-
Tokenizer
Konstruktory
| Tokenizer() |
Poskytuje výchozí implementaci tokenizátoru. |
Vlastnosti
| DefaultTokenizer |
Získá výchozí TokenizerFunction implementaci. |
Metody
| DefaultTokenizerImpl(String, String) |
Jednoduchý tokenizátor, který přeruší mezery a interpunkci. Jedinou provedenou normalizací je malá písmena. |