Freigeben über


AddedToken Struktur

Definition

Stellen Sie ein Token dar, das vom Benutzer über dem vorhandenen Modellvokabular hinzugefügt wurde. AddToken kann konfiguriert werden, um das Verhalten anzugeben, das sie in verschiedenen Situationen haben sollten, z. B.:

  • Ob sie nur mit einzelnen Wörtern übereinstimmen sollen
  • Gibt an, ob ein leerer Leerraum links oder rechts eingeschlossen werden soll
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>
type AddedToken = struct
Public Structure AddedToken
Implements IEquatable(Of AddedToken)
Vererbung
AddedToken
Implementiert

Konstruktoren

AddedToken()

Erstellen Sie ein neues AddedToken-Objekt.

AddedToken(String, Boolean)

Erstellen Sie ein neues AddToken-Objekt aus dem angegebenen Inhalt, und geben Sie an, ob es sich um ein spezielles Token handeln soll. Spezielle Token werden standardmäßig nicht normalisiert.

Eigenschaften

Content

Ruft den Inhalt des hinzugefügten Tokens ab oder legt diese fest.

Methoden

Equals(AddedToken)

Bestimmt, ob zwei Tokeninstanzen gleich sind.

GetHashCode()

Gibt den Hashcode für das aktuelle Token zurück.

Operatoren

Implicit(String to AddedToken)

Definiert eine implizite Konvertierung eines Zeichenfolgenobjekts in AddedToken.

Gilt für: