EnglishRoberta.Tokenize(String) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Jetonser une chaîne de séquence pour une liste de jetons.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Paramètres
- sequence
- String
Séquence à tokeniser.
Retours
Liste des jetons générés à partir de la tokenisation de séquence.