Model 클래스

정의

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

토큰화 중에 사용되는 모델(예: BPE 또는 Word 조각 또는 유니그램)을 나타냅니다.

public abstract class Model

type Model = class

Public MustInherit Class Model

Model()

토큰화 중에 사용되는 모델(예: BPE 또는 Word 조각 또는 유니그램)을 나타냅니다.

GetTrainer()	모델 학습에 사용할 트레이너 개체를 가져옵니다.
GetVocab()	ID에 대한 사전 매핑 토큰을 가져옵니다.
GetVocabSize()	토큰을 ID에 매핑하는 사전 크기를 가져옵니다.
IdToString(Int32, Boolean)	토큰화 중에 사용되는 모델(예: BPE 또는 Word 조각 또는 유니그램)을 나타냅니다.
IdToToken(Int32, Boolean)	토큰화된 ID를 토큰에 매핑합니다.
IsValidChar(Char)	문자가 토큰화기에서 유효한 경우 true를 반환합니다. 그렇지 않으면 false를 반환합니다.
Save(String, String)	모델 데이터를 어휘에 저장하고 파일을 병합합니다.
Tokenize(String)	시퀀스 문자열을 토큰 목록으로 토큰화합니다.
TokenToId(String)	토큰을 토큰화된 ID에 매핑합니다.