Bpe.Tokenize(String) Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Tokenize uma cadeia de caracteres de sequência para uma lista de tokens.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parâmetros
- sequence
- String
A sequência a ser tokenizada.
Retornos
A lista de tokens gerados com base na geração de tokens de sequência.