次の方法で共有


Token interface

TokenizerFunctionによって返される個々のトークン。

プロパティ

end

外側の文字列内のトークンの終了文字位置。

normalized

トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。

start

外側の文字列内のトークンの開始文字位置。

text

トークンの元のテキスト。

プロパティの詳細

end

外側の文字列内のトークンの終了文字位置。

end: number

プロパティ値

number

normalized

トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。

normalized: string

プロパティ値

string

start

外側の文字列内のトークンの開始文字位置。

start: number

プロパティ値

number

text

トークンの元のテキスト。

text: string

プロパティ値

string