Словник
Токен в AI. Що це таке і чому ліміт закінчується швидко
Токен це шматок тексту, у якому модель рахує все, що читає й пише. Зазвичай це частина слова, іноді ціле коротке слово чи знак.
Ліміти в інструментах AI і довжину розмови, яку модель ще тримає, рахують саме в токенах. Текст українською чи польською зазвичай займає їх більше, ніж англійський з тим самим змістом.
Приклад з фірми
Працівник тиждень веде одну розмову з AI й вставляє туди договір за договором. З кожним новим питанням модель заново читає всю розмову. Тож коротке питання в п’ятницю коштує стільки токенів, як увесь тиждень, і ліміт закінчується за кілька повідомлень.
Те саме з файлами. Вставлений документ на двадцять сторінок займає велику частину розмови, навіть якщо ви питаєте лише про один абзац. Краще вставити цей абзац.
На що зважати
Нову задачу починайте в новій розмові, а важливі домовленості переносьте туди кількома реченнями. Відповіді будуть кращі, а ліміту вистачить надовше.