PreTokenizer.PreTokenize(String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Divide la cadena especificada en varias subcadenas en el límite de la palabra, realizando un seguimiento de los desplazamientos de dichas subcadenas de la cadena original.
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string sentence);abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parámetros
- sentence
- String
Cadena que se va a dividir en tokens.
Devoluciones
Lista de las divisiones que contienen los tokens y los desplazamientos del token a la cadena original.