Словник

Токен в AI. Що це таке і чому ліміт закінчується швидко

Токен це шматок тексту, у якому модель рахує все, що читає й пише. Зазвичай це частина слова, іноді ціле коротке слово чи знак.

Ліміти в інструментах AI і довжину розмови, яку модель ще тримає, рахують саме в токенах. Текст українською чи польською зазвичай займає їх більше, ніж англійський з тим самим змістом.

Приклад з фірми

Працівник тиждень веде одну розмову з AI й вставляє туди договір за договором. З кожним новим питанням модель заново читає всю розмову. Тож коротке питання в п’ятницю коштує стільки токенів, як увесь тиждень, і ліміт закінчується за кілька повідомлень.

Те саме з файлами. Вставлений документ на двадцять сторінок займає велику частину розмови, навіть якщо ви питаєте лише про один абзац. Краще вставити цей абзац.

На що зважати

Нову задачу починайте в новій розмові, а важливі домовленості переносьте туди кількома реченнями. Відповіді будуть кращі, а ліміту вистачить надовше.

Читайте далі