PreTokenizer.PreTokenize(String) Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres da cadeia de caracteres original.
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize (string sentence);abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parâmetros
- sentence
- String
A cadeia de caracteres a ser dividida em tokens.
Retornos
A lista das divisões que contêm os tokens e os deslocamentos do token para a cadeia de caracteres original.