BpeTrainer.SpecialTokens Eigenschaft
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Ruft die Liste der speziellen Token ab, die dem Modell bekannt sein sollten.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.AddedToken>? SpecialTokens { get; }member this.SpecialTokens : System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.AddedToken>Public ReadOnly Property SpecialTokens As IReadOnlyList(Of AddedToken)