Dlaczego AI głupieje w długiej rozmowie, a ChatGPT zapomina ustalenia

Rano napisaliście w czacie, że odpowiedzi mają być krótkie i bez wypunktowań. Przez pierwsze wiadomości tak było. Po południu ChatGPT znowu pisze długie listy z pogrubieniami i myli dwie oferty, które omawialiście wcześniej. Tak właśnie psuje się długa rozmowa z AI.

To nie jest awaria ani niczyja zła wola. Tak działają modele językowe, w ChatGPT i w Claude, i da się to obejść kilkoma prostymi nawykami.

Dlaczego ChatGPT zapomina, co ustaliliście

Model nie pamięta rozmowy tak jak człowiek. Przy każdej odpowiedzi patrzy na tekst, który mieści się w tak zwanym oknie kontekstu. Anthropic w dokumentacji nazywa je pamięcią roboczą modelu. Jest w nim wszystko, do czego model może się odwołać, pisząc odpowiedź.

Okno jest duże, ale ma granicę. Jest też druga rzecz, mniej oczywista. Według dokumentacji Anthropic, im więcej tekstu w kontekście, tym słabiej model trafia w szczegóły i tym gorzej je przywołuje. Więcej kontekstu nie znaczy automatycznie lepiej.

W praktyce Wasza instrukcja z rana leży gdzieś daleko, przykryta wklejonymi mailami i kolejnymi poprawkami. Dostaje mniej uwagi niż to, co napisaliście przed chwilą. W bardzo długiej rozmowie najstarsze fragmenty mogą zostać streszczone albo wypaść. Claude przy niektórych ustawieniach sam streszcza wcześniejsze wiadomości, gdy rozmowa zbliża się do limitu.

Stąd dryf. Wraca styl, który dawno poprawiliście, a odpowiedź miesza dwa tematy z tej samej rozmowy.

Jedno zadanie, jedna rozmowa

To najprostszy nawyk. Oferta dla klienta idzie do jednej rozmowy, tabela z zamówieniami do osobnej. Gdy wszystko jest w jednym oknie, model widzi oba tematy naraz i zaczyna je mieszać.

W Claude ma to jeszcze jeden plus. Długość rozmowy wpływa na zużycie limitu na planie, a długie rozmowy, które Claude musi streszczać, zużywają go więcej. Anthropic sam radzi wtedy zacząć nową rozmowę.

Z dokumentami jest tak samo. Zamiast wklejać cały regulamin sklepu i pytać o zwroty, wklejcie sam rozdział o zwrotach i napiszcie, że chodzi o niego. Przy długim pliku wskażcie konkretne miejsce, numer punktu albo nagłówek. Mniej tekstu w oknie to więcej uwagi dla tego, co ważne.

Gdy długa rozmowa z AI zaczyna się rozjeżdżać

Nie trzeba zaczynać od zera. Gdy widzicie dryf, napiszcie w tej samej rozmowie mniej więcej tak.

Streść krótko, co ustaliliśmy. Cel, decyzje, dane, z których korzystamy, i zasady pisania. Bez komentarzy.

Przeczytajcie to streszczenie i poprawcie, jeśli coś jest przekręcone. Potem otwórzcie nowy czat i wklejcie je jako pierwszą wiadomość. Model zaczyna od czystej kartki, ale z tym, co naprawdę ważne.

Lepiej zrobić to wcześniej, niż poprawiać tę samą rzecz po raz kolejny w starej rozmowie. Każda poprawka dokłada do okna kolejny tekst, który model i tak musi przeczytać.

Stałe instrukcje trzymajcie poza czatem

Jeśli w każdej rozmowie piszecie to samo, na przykład czym zajmuje się firma i jakim tonem odpisujecie klientom, przenieście to do ustawień.

W ChatGPT są na to dwa miejsca. W ustawieniach personalizacji jest pole na własne instrukcje, po angielsku Custom instructions, które działają we wszystkich rozmowach. Są też projekty, które zbierają rozmowy, pliki i instrukcje jednego tematu. Instrukcje projektu działają tylko w nim i mają pierwszeństwo przed ogólnymi.

W Claude jest podobnie. W ustawieniach jest pole Instructions for Claude, które obowiązuje w każdej rozmowie. Projekty mają własne pliki i własne instrukcje, które działają tylko w czatach tego projektu. Na płatnych planach, gdy plików jest dużo, Claude ładuje do kontekstu tylko te fragmenty, które są potrzebne do pytania.

Anthropic radzi, żeby instrukcje projektu były krótkie i dotyczyły ogólnego kontekstu, a zadanie na dziś pisać już w czacie. To dobra zasada także dla ChatGPT.

Jeśli ktoś w firmie codziennie przekleja te same dane do czatu, policzcie, ile czasu to zajmuje, w kalkulatorze czasu pracy. Czasem to znak, że zadanie nadaje się do automatyzacji, a nie do kolejnej rozmowy.

Gdy odpowiedzi zaczynają pływać, nie poprawiajcie ich w nieskończoność. Poproście o krótkie streszczenie i zacznijcie nowy czat.