Tokenizer 클래스
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
기본 토큰라이저 구현을 제공합니다.
public class Tokenizertype Tokenizer = classPublic Class Tokenizer- 상속
-
Tokenizer
생성자
| Tokenizer() |
기본 토큰라이저 구현을 제공합니다. |
속성
| DefaultTokenizer |
기본 TokenizerFunction 구현을 가져옵니다. |
메서드
| DefaultTokenizerImpl(String, String) |
공백 및 문장 부호를 중단하는 간단한 토큰라이저입니다. 정규화는 소문자뿐입니다. |