RobertaPreTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
O pré-tokenizador para o tokenizador inglês Roberta.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Herança
Construtores
| RobertaPreTokenizer() |
O pré-tokenizador para o tokenizador inglês Roberta. |
Campos
| Instance |
Obtém uma instância singleton do pré-tokenizador Roberta.. |
Métodos
| PreTokenize(String) |
Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres da cadeia de caracteres original. |