Bpe.Tokenize(String) メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
シーケンス文字列をトークンの一覧にトークン化します。
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize (string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)パラメーター
- sequence
- String
トークン化するシーケンス。
戻り値
シーケンス トークン化から生成されたトークンの一覧。