RobertaPreTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokenizador previo para el tokenizador en inglés de Roberta.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Herencia
Constructores
| RobertaPreTokenizer() |
Tokenizador previo para el tokenizador en inglés de Roberta. |
Campos
| Instance |
Obtiene una instancia singleton del pre-tokenizer de Roberta. |
Métodos
| PreTokenize(String) |
Divide la cadena especificada en varias subcadenas en el límite de la palabra, realizando un seguimiento de los desplazamientos de dichas subcadenas de la cadena original. |