TokenizerResult Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Die Codierung stellt die Ausgabe eines Tokenizers dar.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Vererbung
-
TokenizerResult
Konstruktoren
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Erstellen Sie ein neues Objekt des TokenizerResult-Objekts. |
Eigenschaften
| Ids |
Ruft die Liste der Token-IDs ab. Die Ids sind die Haupteingabe für ein Sprachmodell. Dabei handelt es sich um die Tokenindizes, die numerischen Darstellungen, die ein LM versteht. |
| NormalizedString |
Ruft die normalisierte Form der ursprünglichen Zeichenfolge ab. |
| Offsets |
Ruft die Liste der Offsets ab. Mit diesen Offsets können Sie die Eingabezeichenfolge aufschneiden und so den ursprünglichen Teil abrufen, der zum Erstellen des entsprechenden Tokens geführt hat. |
| OffsetsMappedToOriginalString |
Ruft die normalisierte Form der ursprünglichen Zeichenfolge ab. |
| OriginalString |
Ruft die ursprüngliche tokenisierte Zeichenfolge ab. |
| Tokens |
Ruft die generierten Token ab. Sie sind die Zeichenfolgendarstellung der Ids. |