WhiteSpace 클래스
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
단어 경계에서 텍스트를 분할하는 사전 토큰화기입니다. 단어는 알파벳, 숫자 및 밑줄 문자 집합입니다.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- 상속
생성자
| WhiteSpace() |
단어 경계에서 텍스트를 분할하는 사전 토큰화기입니다. 단어는 알파벳, 숫자 및 밑줄 문자 집합입니다. |
필드
| Instance |
WhiteSpace 사전 토큰라이저의 싱글톤 인스턴스를 가져옵니다. |
메서드
| PreTokenize(String) |
지정된 문자열을 단어 경계의 여러 부분 문자열로 분할하여 원래 문자열에서 해당 부분 문자열의 오프셋을 추적합니다. |