Tokenizer クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

トークナイザーはパイプラインとして機能します。生のテキストを入力として処理し、TokenizerResult オブジェクトを出力します。

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

新しい Tokenizer オブジェクトを作成します。

Decoder	トークナイザーで使用されているデコーダーを取得または設定します。
Model	トークナイザーで使用されているモデルを取得します。
Normalizer	トークナイザーで使用されているノーマライザーを取得または設定します。
PreTokenizer	トークナイザーで使用される PreTokenizer を取得または設定します。

Decode(IEnumerable<Int32>, Boolean)	指定した ID をデコードし、文字列に戻します。
Decode(Int32, Boolean)	ID をマップされたトークンにデコードします。
Encode(String)	オブジェクトに入力テキストをエンコードします。トークンリスト、トークン ID、トークンオフセットマッピングがあります。
IsValidChar(Char)	トークナイザーはパイプラインとして機能します。生のテキストを入力として処理し、TokenizerResult オブジェクトを出力します。
TrainFromFiles(Trainer, ReportProgress, String[])	入力ファイルを使用してトークナイザーモデルをトレーニングします。