BpeTrainer 클래스

정의

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

Bpe 모델을 학습시킬 책임이 있는 Bpe 트레이너.

public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainer

type BpeTrainer = class
    inherit Trainer

Public NotInheritable Class BpeTrainer
Inherits Trainer

BpeTrainer()	기본값을 사용하여 새 BpeTrainer 개체를 생성합니다.
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)	새 BpeTrainer 개체를 생성합니다.

ContinuingSubwordPrefix	단어의 시작이 아닌 모든 하위 단어에 사용할 접두사를 가져옵니다.
EndOfWordSuffix	단어 끝인 모든 하위 단어에 사용할 접미사를 가져옵니다.
InitialAlphabet	학습 데이터 세트에 표시되지 않더라도 초기 알파벳에 포함할 문자 목록을 가져옵니다. 문자열에 둘 이상의 문자가 포함된 경우 첫 번째 문자만 유지됩니다.
LimitAlphabet	알파벳에 유지할 최대 다른 문자를 가져옵니다.
MinFrequency	병합하기 위해 쌍에 있어야 하는 최소 빈도를 가져옵니다.
Progress	학습 중에 진행률을 보고해야 하는 경우를 설정합니다. (다음에서 상속됨 Trainer)
SpecialTokens	모델에서 알아야 할 특수 토큰 목록을 가져옵니다.
VocabSize	모든 토큰과 알파벳을 포함하여 최종 어휘의 크기를 가져옵니다.

Feed(IEnumerable<String>, Func<String,IEnumerable<String>>)	입력 시퀀스를 처리하고 결과를 모델에 공급합니다.
Train(Model)	실제 학습을 수행하고 입력 모델을 새 어휘로 업데이트하고 데이터를 병합합니다.