Słownik

Token w AI. Co to jest i dlaczego limit kończy się szybko

Token to kawałek tekstu, w którym model liczy wszystko, co czyta i pisze. Zwykle to fragment słowa, czasem całe krótkie słowo albo znak.

Limity w narzędziach AI i długość rozmowy, którą model jeszcze ogarnia, liczy się właśnie w tokenach. Polski tekst zwykle zajmuje ich więcej niż angielski o tej samej treści.

Przykład z firmy

Pracownik prowadzi jedną rozmowę z AI przez cały tydzień i wkleja do niej kolejne umowy. Przy każdym nowym pytaniu model czyta od nowa całą rozmowę. Krótkie pytanie w piątek kosztuje więc tyle tokenów co cały tydzień i limit kończy się po kilku wiadomościach.

To samo dotyczy plików. Wklejony dokument na dwadzieścia stron zajmuje dużą część miejsca w rozmowie, nawet jeśli pytacie tylko o jeden akapit. Lepiej wkleić ten akapit.

Na co uważać

Nowe zadanie zaczynajcie w nowej rozmowie, a ważne ustalenia przenoście tam w kilku zdaniach. Odpowiedzi będą lepsze, a limit wystarczy na dłużej.

Czytajcie dalej