AddedToken 구조체

정의

네임스페이스:

Microsoft.ML.Tokenizers

어셈블리:

Microsoft.ML.Tokenizers.dll

패키지:

Microsoft.ML.Tokenizers v0.21.1

사용자가 기존 모델 어휘 위에 추가한 토큰을 나타냅니다. AddedToken은 다음과 같은 다양한 상황에서 수행해야 하는 동작을 지정하도록 구성할 수 있습니다.

• 단일 단어와만 일치해야 하는지 여부
• 왼쪽 또는 오른쪽에 WhiteSpace를 포함할지 여부

public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>

type AddedToken = struct

Public Structure AddedToken
Implements IEquatable(Of AddedToken)

상속

ValueType

AddedToken

구현

IEquatable<AddedToken>

생성자

AddedToken()	새 AddedToken 개체를 만듭니다.
AddedToken(String, Boolean)	지정된 콘텐츠에서 새 AddedToken 개체를 만들어 특수 토큰인지 지정합니다. 특수 토큰은 기본적으로 정규화되지 않습니다.

속성

Content

추가된 토큰의 콘텐츠를 가져오거나 설정합니다.

메서드

Equals(AddedToken)	두 토큰 인스턴스가 같은지 여부를 결정합니다.
GetHashCode()	현재 토큰에 대한 해시 코드를 반환합니다.

연산자

Implicit(String to AddedToken)

문자열 개체를 AddedToken으로 암시적으로 변환하는 것을 정의합니다.