BpeDecoder.Decode(IEnumerable<String>) 方法

参考

定义

命名空间:: Microsoft.ML.Tokenizers

程序集:: Microsoft.ML.Tokenizers.dll

包:: Microsoft.ML.Tokenizers v0.20.1

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

通过联接所有标记，然后用空格替换用于标识词尾的后缀来解码原始 BPE。

public override string Decode(System.Collections.Generic.IEnumerable<string> tokens);

override this.Decode : seq<string> -> string

Public Overrides Function Decode (tokens As IEnumerable(Of String)) As String

参数

tokens: IEnumerable<String>

要合并的令牌列表。

返回

String

包含所有合并令牌的字符串。

适用于