Tokenizer.Encode(String) Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Codifica o texto de entrada no objeto que tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.
public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParâmetros
- sequence
- String
O texto a ser tokenizado.
Retornos
O resultado da tokenização inclui a lista de tokens, as IDs de tokens, o mapeamento de deslocamento de tokens.