Słownik
Token w AI. Co to jest i dlaczego limit kończy się szybko
Token to kawałek tekstu, w którym model liczy wszystko, co czyta i pisze. Zwykle to fragment słowa, czasem całe krótkie słowo albo znak.
Limity w narzędziach AI i długość rozmowy, którą model jeszcze ogarnia, liczy się właśnie w tokenach. Polski tekst zwykle zajmuje ich więcej niż angielski o tej samej treści.
Przykład z firmy
Pracownik prowadzi jedną rozmowę z AI przez cały tydzień i wkleja do niej kolejne umowy. Przy każdym nowym pytaniu model czyta od nowa całą rozmowę. Krótkie pytanie w piątek kosztuje więc tyle tokenów co cały tydzień i limit kończy się po kilku wiadomościach.
To samo dotyczy plików. Wklejony dokument na dwadzieścia stron zajmuje dużą część miejsca w rozmowie, nawet jeśli pytacie tylko o jeden akapit. Lepiej wkleić ten akapit.
Na co uważać
Nowe zadanie zaczynajcie w nowej rozmowie, a ważne ustalenia przenoście tam w kilku zdaniach. Odpowiedzi będą lepsze, a limit wystarczy na dłużej.