WhiteSpace.PreTokenize(String) Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres ditas da cadeia de caracteres original.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parâmetros
- sentence
- String
A cadeia de caracteres a ser dividida em tokens.
Retornos
A lista das divisões que contêm os tokens e os deslocamentos do token para a cadeia de caracteres original.