EnglishRoberta.Tokenize(String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Tokenice una cadena de secuencia en una lista de tokens.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parámetros
- sequence
- String
Secuencia que se va a tokenizar.
Devoluciones
Lista de tokens generados a partir de la tokenización de secuencia.