Model.Tokenize(String) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Jetonsez une chaîne de séquence en une liste de jetons.
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Paramètres
- sequence
- String
Séquence à tokeniser.
Retours
Liste des jetons générés à partir de la jetonisation de séquence.