Bpe Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Represente o modelo de codificação de par de bytes.

public sealed class Bpe : Microsoft.ML.Tokenizers.Model

type Bpe = class
    inherit Model

Public NotInheritable Class Bpe
Inherits Model

Herança

Object

Model

Bpe

Construtores

Bpe()	Construa um novo objeto de modelo Bpe sem vocabulário de geração de tokens. Esse construtor é útil apenas no cenário de treinamento.
Bpe(String, String, String, String, String)	Construa um novo objeto de modelo Bpe a ser usado para treinamento de tokens e tokenizer de sentença.

Propriedades

ContinuingSubwordPrefix	Um prefixo opcional a ser usado em qualquer sub-palavra que exista somente atrás de outra
Decoder	Obtém o objeto decodificador Bpe.
EndOfWordSuffix	Um sufixo opcional para caracterizar e sub-palavra de fim de palavra
FuseUnknownTokens	Obtém ou define se a permissão de vários tokens desconhecidos é fundida
UnknownToken	Obtém ou define um token desconhecido. O token desconhecido a ser usado quando encontrarmos um caractere desconhecido

Métodos

GetTrainer()	Obtém um objeto trainer a ser usado no treinamento do modelo e gera o vocabulário e mescla dados.
GetVocab()	Obtém os tokens de mapeamento de dicionário para Ids.
GetVocabSize()	Obtém o tamanho do dicionário que mapeia tokens para Ids.
IdToString(Int32, Boolean)	Mapeie a ID com token para o token.
IdToToken(Int32, Boolean)	Mapeie a ID com token para o token.
IsValidChar(Char)	Represente o modelo de codificação de par de bytes.
Save(String, String)	Salve os dados do modelo no vocabulário e mescle arquivos.
Tokenize(String)	Tokenize uma cadeia de caracteres de sequência para uma lista de tokens.
TokenToId(String)	Mapeie o token para a ID com token.