EnglishRoberta Constructeurs

Définition

Espace de noms:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Paquet:

Microsoft.ML.Tokenizers v0.20.1

Surcharges

EnglishRoberta(Stream, Stream, Stream)	Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.
EnglishRoberta(String, String, String)	Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

EnglishRoberta(Stream, Stream, Stream)

Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

public EnglishRoberta(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);

new Microsoft.ML.Tokenizers.EnglishRoberta : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRoberta

Public Sub New (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream)

Paramètres

vocabularyStream

Stream

Flux d’un fichier JSON contenant le dictionnaire de clés de chaîne et leurs ID.

mergeStream

Stream

Flux d’un fichier contenant la liste des paires de jetons.

highestOccurrenceMappingStream

Stream

Remapper les ID de modèle GPT-2 d’origine sur des valeurs et des rangs d’occurrence élevés.

EnglishRoberta(String, String, String)

Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

public EnglishRoberta(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);

new Microsoft.ML.Tokenizers.EnglishRoberta : string * string * string -> Microsoft.ML.Tokenizers.EnglishRoberta

Public Sub New (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String)

Paramètres

vocabularyPath

String

Chemin d’accès au fichier JSON contenant le dictionnaire des clés de chaîne et leurs ID.

mergePath

String

Chemin d’accès au fichier contenant la liste des paires de jetons.

highestOccurrenceMappingPath

String

Remapper les ID de modèle GPT-2 d’origine sur des valeurs et des rangs d’occurrence élevés.