TokenizerResult クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

Encoding はトークナイザーの出力を表します。

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

TokenizerResult オブジェクトの新しいオブジェクトを作成します。

Ids	トークン ID の一覧を取得します。 Id は、言語モデルへの主な入力です。これらはトークンインデックスであり、LM が理解する数値表現です。
NormalizedString	元の文字列の正規化された形式を取得します。
Offsets	オフセットの一覧を取得します。これらのオフセットでは、入力文字列をスライスし、対応するトークンを生成する原因となった元の部分を取得します。
OffsetsMappedToOriginalString	元の文字列の正規化された形式を取得します。
OriginalString	元のトークン化された文字列を取得します。
Tokens	生成されたトークンを取得します。これらは ID の文字列表現です。