WhiteSpace.PreTokenize(String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Divide la cadena especificada en varias subcadenas en el límite de la palabra, realizando un seguimiento de los desplazamientos de dichas subcadenas de la cadena original.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parámetros
- sentence
- String
Cadena que se va a dividir en tokens.
Devoluciones
Lista de las divisiones que contienen los tokens y los desplazamientos del token a la cadena original.