BpeTrainer.SpecialTokens プロパティ
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
モデルが認識する必要がある特別なトークンの一覧を取得します。
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.AddedToken>? SpecialTokens { get; }member this.SpecialTokens : System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.AddedToken>Public ReadOnly Property SpecialTokens As IReadOnlyList(Of AddedToken)