PreTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa.
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- Herencia
-
PreTokenizer
- Derivado
Constructores
| PreTokenizer() |
Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa. |
Métodos
| PreTokenize(String) |
Divide la cadena especificada en varias subcadenas en el límite de la palabra, realizando un seguimiento de los desplazamientos de dichas subcadenas de la cadena original. |