Tokenizer.Encode(String) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Encode le texte d’entrée en objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.
public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParamètres
- sequence
- String
Texte à tokeniser.
Retours
Le résultat de la tokenisation inclut la liste des jetons, les ID de jetons, le mappage de décalage de jetons.