Token interface

Отдельный маркер, возвращаемый TokenizerFunction.

Свойства

end	Позиция конечного символа маркера во внешней строке.
normalized	Нормализованная форма маркера. Это может включать такие вещи, как нижний регистр или стебли.
start	Запустите позицию символа маркера во внешней строке.
text	Исходный текст маркера.

Позиция конечного символа маркера во внешней строке.

end: number

number

Нормализованная форма маркера. Это может включать такие вещи, как нижний регистр или стебли.

normalized: string

string

Запустите позицию символа маркера во внешней строке.

start: number

number

Исходный текст маркера.

text: string

string