Bpe 생성자

정의

네임스페이스:

Microsoft.ML.Tokenizers

어셈블리:

Microsoft.ML.Tokenizers.dll

패키지:

Microsoft.ML.Tokenizers v0.21.1

오버로드

Bpe()	토큰화 어휘 없이 새 Bpe 모델 개체를 생성합니다. 이 생성자는 학습 시나리오에서만 유용합니다.
Bpe(String, String, String, String, String)	문장 토큰화 및 토큰화 학습에 사용할 새 Bpe 모델 개체를 생성합니다.

Bpe()

토큰화 어휘 없이 새 Bpe 모델 개체를 생성합니다. 이 생성자는 학습 시나리오에서만 유용합니다.

public Bpe ();

Public Sub New ()

Bpe(String, String, String, String, String)

문장 토큰화 및 토큰화 학습에 사용할 새 Bpe 모델 개체를 생성합니다.

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

매개 변수

vocabFile

String

문자열 키 및 해당 ID의 사전을 포함하는 JSON 파일 경로입니다.

mergesFile

String

토큰의 쌍 목록을 포함하는 파일 경로입니다.

unknownToken

String

모델에서 사용할 알 수 없는 토큰입니다.

continuingSubwordPrefix

String

단어의 시작을 나타내지 않는 하위 단어 단위에 연결할 접두사입니다.

endOfWordSuffix

String

단어 끝을 나타내는 하위 단어 단위에 연결할 접미사입니다.