Tokenizer(Model, PreTokenizer, Normalizer) 생성자

참조

정의

네임스페이스:: Microsoft.ML.Tokenizers

어셈블리:: Microsoft.ML.Tokenizers.dll

패키지:: Microsoft.ML.Tokenizers v0.21.1

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

새 Tokenizer 개체를 만듭니다.

public Tokenizer (Microsoft.ML.Tokenizers.Model model, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

new Microsoft.ML.Tokenizers.Tokenizer : Microsoft.ML.Tokenizers.Model * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.Tokenizer

Public Sub New (model As Model, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing)

매개 변수

model: Model

Tokenizer에서 사용 중인 모델입니다.

preTokenizer: PreTokenizer

Tokenizer에서 사용 중인 선택적 PreTokenizer입니다. 이 매개 변수가 null인 경우 WhiteSpace PreTokenizer가 사용됩니다.

normalizer: Normalizer

Tokenizer에서 사용 중인 선택적 Normalizer입니다.

적용 대상