Token interface
TokenizerFunction
によって返される個々のトークン。
プロパティ
end | 外側の文字列内のトークンの終了文字位置。 |
normalized | トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。 |
start | 外側の文字列内のトークンの開始文字位置。 |
text | トークンの元のテキスト。 |
プロパティの詳細
end
外側の文字列内のトークンの終了文字位置。
end: number
プロパティ値
number
normalized
トークンの正規化された形式。 これには、小文字やステミングなどが含まれます。
normalized: string
プロパティ値
string
start
外側の文字列内のトークンの開始文字位置。
start: number
プロパティ値
number
text
トークンの元のテキスト。
text: string
プロパティ値
string