RobertaPreTokenizer 클래스

정의

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

Roberta English tokenizer의 사전 토큰화기입니다.

public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RobertaPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer

Roberta English tokenizer의 사전 토큰화기입니다.

Roberta 사전 토큰화기의 싱글톤 인스턴스를 가져옵니다.

지정된 문자열을 단어 경계의 여러 부분 문자열로 분할하여 원래 문자열에서 해당 부분 문자열의 오프셋을 추적합니다.