PreTokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Classe de base pour toutes les classes de pré-générateurs de jetons. Le PreTokenizer est chargé d’effectuer l’étape de pré-segmentation.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Héritage
-
PreTokenizer
- Dérivé
Constructeurs
| PreTokenizer() |
Classe de base pour toutes les classes de pré-générateurs de jetons. Le PreTokenizer est chargé d’effectuer l’étape de pré-segmentation. |
Méthodes
| PreTokenize(String) |
Fractionne la chaîne donnée en plusieurs sous-chaînes à la limite du mot, en gardant le suivi des décalages de ces sous-chaînes par rapport à la chaîne d’origine. |