Tokenizer.Encode(String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Codiert Eingabetext in ein Objekt mit der Tokenliste, Token-IDs und Tokenoffsetzuordnung.
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultParameter
- sequence
- String
Der zu tokenisierende Text.
Gibt zurück
Das Tokenisierungsergebnis enthält die Tokenliste, Token-IDs und Tokenoffsetzuordnung.