BpeTrainer 생성자
정의
중요
일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.
오버로드
| BpeTrainer() |
기본값을 사용하여 새 BpeTrainer 개체를 생성합니다. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
새 BpeTrainer 개체를 생성합니다. |
BpeTrainer()
기본값을 사용하여 새 BpeTrainer 개체를 생성합니다.
public BpeTrainer ();Public Sub New ()적용 대상
BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String)
새 BpeTrainer 개체를 생성합니다.
public BpeTrainer (System.Collections.Generic.IEnumerable<Microsoft.ML.Tokenizers.AddedToken>? specialTokens, int minFrequency = 0, int vocabSize = 30000, Microsoft.ML.Tokenizers.ReportProgress? progress = default, int? limitAlphabet = default, System.Collections.Generic.HashSet<char>? initialAlphabet = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.BpeTrainer : seq<Microsoft.ML.Tokenizers.AddedToken> * int * int * Microsoft.ML.Tokenizers.ReportProgress * Nullable<int> * System.Collections.Generic.HashSet<char> * string * string -> Microsoft.ML.Tokenizers.BpeTrainerPublic Sub New (specialTokens As IEnumerable(Of AddedToken), Optional minFrequency As Integer = 0, Optional vocabSize As Integer = 30000, Optional progress As ReportProgress = Nothing, Optional limitAlphabet As Nullable(Of Integer) = Nothing, Optional initialAlphabet As HashSet(Of Char) = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)매개 변수
- specialTokens
- IEnumerable<AddedToken>
모델이 알아야 할 특수 토큰 목록입니다.
- minFrequency
- Int32
병합하기 위해 쌍에 있어야 하는 최소 빈도입니다.
- vocabSize
- Int32
모든 토큰 및 알파벳을 포함하여 최종 어휘의 크기입니다.
- progress
- ReportProgress
학습 진행률 업데이트에 대한 콜백입니다.
- continuingSubwordPrefix
- String
단어의 시작이 아닌 모든 하위 단어에 사용할 접두사입니다.
- endOfWordSuffix
- String
단어 끝인 모든 하위 단어에 사용할 접미사입니다.