EnglishRoberta Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Represente o modelo de Codificação de Pares de Bytes.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model

type EnglishRoberta = class
    inherit Model

Public NotInheritable Class EnglishRoberta
Inherits Model

Herança

Object

Model

EnglishRoberta

Construtores

EnglishRoberta(Stream, Stream, Stream)	Construa o objeto tokenizer a ser usado com o modelo Robert inglês.
EnglishRoberta(String, String, String)	Construa o objeto tokenizer a ser usado com o modelo Robert inglês.

Propriedades

PadIndex	Obtém o índice do símbolo de teclado dentro da lista de símbolos.
SymbolsCount	Obtém o comprimento da lista de símbolos.

Métodos

AddMaskSymbol(String)	Adicione o símbolo de máscara à lista de símbolos.
GetTrainer()	Obtém um objeto trainer a ser usado no treinamento do modelo e gera o vocabulário e mescla dados.
GetVocab()	Obtém os tokens de mapeamento de dicionário para Ids.
GetVocabSize()	Obtém o tamanho do dicionário que mapeia tokens para Ids.
IdsToOccurrenceRanks(IReadOnlyList<Int32>)	Converta uma lista de IDs de tokens em classificações de ocorrência mais altas.
IdsToOccurrenceValues(IReadOnlyList<Int32>)	Converta uma lista de IDs de tokens em valores de ocorrência mais altos.
IdToString(Int32, Boolean)	Mapeie a ID tokenizada para a cadeia de caracteres original.
IdToToken(Int32, Boolean)	Mapeie a ID tokenizada para o token.
IsValidChar(Char)	Represente o modelo de Codificação de Pares de Bytes.
OccurrenceRanksIds(IReadOnlyList<Int32>)	Converta uma lista das classificações de ocorrência mais altas na lista de IDs de tokens.
Save(String, String)	Salve os dados do modelo nos arquivos de vocabulário, mesclagem e mapeamento de ocorrência.
Tokenize(String)	Tokenize uma cadeia de caracteres de sequência para uma lista de tokens.
TokenToId(String)	Mapeie o token para a ID tokenizada.