AddedToken 结构

定义

命名空间:

Microsoft.ML.Tokenizers

程序集:

Microsoft.ML.Tokenizers.dll

包:

Microsoft.ML.Tokenizers v0.21.1

表示用户在现有模型词汇表之上添加的令牌。 可以将 AddedToken 配置为指定它们在各种情况下应具有的行为，例如：

• 它们是否应仅匹配单个单词
• 是在其左侧还是右侧包含任何空格

public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>

type AddedToken = struct

Public Structure AddedToken
Implements IEquatable(Of AddedToken)

继承

ValueType

AddedToken

实现

IEquatable<AddedToken>

构造函数

AddedToken()	创建新的 AddedToken 对象。
AddedToken(String, Boolean)	从给定内容创建新的 AddedToken 对象，指定它是否应为特殊标记。 默认情况下，不规范化特殊标记。

属性

Content

获取或设置添加的令牌的内容

方法

Equals(AddedToken)	确定两个令牌实例是否相等。
GetHashCode()	返回当前标记的哈希代码。

运算符

Implicit(String to AddedToken)

定义字符串对象到 AddedToken 的隐式转换。