Bpe.FuseUnknownTokens 属性

参考

定义

命名空间:: Microsoft.ML.Tokenizers

程序集:: Microsoft.ML.Tokenizers.dll

包:: Microsoft.ML.Tokenizers v0.21.1

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

获取或设置是否允许多个未知令牌融合

public bool FuseUnknownTokens { get; set; }

member this.FuseUnknownTokens : bool with get, set

Public Property FuseUnknownTokens As Boolean

属性值

Boolean

适用于