Bpe.Tokenize(String) 메서드

참조

정의

네임스페이스:: Microsoft.ML.Tokenizers

어셈블리:: Microsoft.ML.Tokenizers.dll

패키지:: Microsoft.ML.Tokenizers v0.21.1

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

시퀀스 문자열을 토큰 목록으로 토큰화합니다.

public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);

override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>

Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)

매개 변수

sequence: String

토큰화할 시퀀스입니다.

반환

IReadOnlyList<Token>

시퀀스 토큰화에서 생성된 토큰 목록입니다.

적용 대상