PreTokenizer 클래스

참조

정의

네임스페이스:: Microsoft.ML.Tokenizers

어셈블리:: Microsoft.ML.Tokenizers.dll

패키지:: Microsoft.ML.Tokenizers v0.21.1

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

모든 사전 토큰 변환기 클래스에 대한 기본 클래스입니다. PreTokenizer는 사전 세분화 단계를 담당합니다.

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

상속: Object
PreTokenizer

파생: Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

생성자

모든 사전 토큰 변환기 클래스에 대한 기본 클래스입니다. PreTokenizer는 사전 세분화 단계를 담당합니다.

메서드

PreTokenize(String)

지정된 문자열을 단어 경계의 여러 부분 문자열로 분할하여 원래 문자열에서 해당 부분 문자열의 오프셋을 추적합니다.

적용 대상