Token

Model matnni qayta ishlashda foydalanadigan birlik. U so‘z, so‘zning qismi yoki belgi bo‘lishi mumkin.

Bitta so‘z doim bitta token degani emas.