RobertaPreTokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Pré-générateur de jetons pour Roberta English Tokenizer.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Héritage
Constructeurs
| RobertaPreTokenizer() |
Pré-générateur de jetons pour Roberta English Tokenizer. |
Champs
| Instance |
Obtient une instance singleton du pré-tokenizer Roberta. |
Méthodes
| PreTokenize(String) |
Fractionne la chaîne donnée en plusieurs sous-chaînes à la limite du mot, en gardant le suivi des décalages de ces sous-chaînes par rapport à la chaîne d’origine. |