Tokenizer.Encode(String) Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Codifica el texto de entrada en el objeto con la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.
public Microsoft.ML.Tokenizers.TokenizerResult Encode (string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParámetros
- sequence
- String
Texto que se va a tokenizar.
Devoluciones
El resultado de la tokenización incluye la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.