WhiteSpace.PreTokenize(String) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Fractionne la chaîne donnée dans plusieurs sous-chaînes au niveau de la limite du mot, en gardant le suivi des décalages de ces sous-chaînes par rapport à la chaîne d’origine.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Paramètres
- sentence
- String
Chaîne à diviser en jetons.
Retours
Liste des fractionnements contenant les jetons et les décalages du jeton sur la chaîne d’origine.