AddedToken 构造函数

定义

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

AddedToken()	创建新的 AddedToken 对象。
AddedToken(String, Boolean)	从给定内容创建新的 AddedToken 对象，指定它是否应为特殊标记。默认情况下，不规范化特殊标记。

创建新的 AddedToken 对象。

public AddedToken ();

Public Sub New ()

从给定内容创建新的 AddedToken 对象，指定它是否应为特殊标记。默认情况下，不规范化特殊标记。

public AddedToken (string content, bool special = false);

new Microsoft.ML.Tokenizers.AddedToken : string * bool -> Microsoft.ML.Tokenizers.AddedToken

Public Sub New (content As String, Optional special As Boolean = false)

添加的令牌的内容。

指示此标记是否特殊。