Ten sam raport z AI dwa razy i różne liczby. Jak uzyskać powtarzalne wyniki AI

W zeszłym miesiącu AI zrobiło zestawienie sprzedaży i wszystko się zgadzało. W tym miesiącu wklejacie podobne eksporty i to samo polecenie, a suma wychodzi inna. Tym razem zwroty odjęto od sprzedaży, a poprzednio stały w osobnej kolumnie. Tak w praktyce wygląda brak powtarzalnych wyników AI.

Nikt nie popełnił błędu w poleceniu. AI ustaliło metodę od nowa. Żeby co miesiąc liczyło tak samo, tę metodę trzeba mu dać, zamiast mieć nadzieję, że samo trafi na tę samą.

Dlaczego AI za każdym razem liczy inaczej

Polecenie „zrób raport sprzedaży za wrzesień” zostawia AI mnóstwo decyzji. Netto czy brutto. Co zrobić ze zwrotami i gdzie policzyć zamówienie złożone we wrześniu, a anulowane w październiku.

Osoba, która robi ten raport od lat, ma odpowiedzi w głowie. AI ich nie ma.

Za każdym razem podejmuje te decyzje od nowa. Rozsądnie, ale niekoniecznie tak samo. Do tego model językowy z natury nie odpowiada co do słowa tak samo, nawet na identyczne pytanie. Dwa uruchomienia tego samego raportu mogą więc policzyć różne rzeczy.

Najgorsze jest to, że oba wyniki wyglądają przekonująco. Tabela jest równa, a sumy zgadzają się w obrębie arkusza. Różnicę widać dopiero wtedy, gdy ktoś porówna miesiąc z miesiącem.

Powtarzalne wyniki AI zaczynają się od spisanej metody

Rozwiązanie jest nudne. Metodę trzeba spisać raz i podawać ją AI za każdym razem. Netto czy brutto, co ze zwrotami, jak nazywać kolumny, w jakiej kolejności pokazać handlowców. Taki opis może mieszkać w kilku miejscach:

• Instrukcje ogólne w ustawieniach. ChatGPT i Claude pozwalają zapisać instrukcje, które obowiązują we wszystkich rozmowach. Dobrze sprawdzają się przy stylu i języku odpowiedzi. Na metodę jednego raportu są zbyt ogólne.
• Projekt z instrukcjami i plikami. W obu programach można założyć projekt, dodać do niego instrukcje i pliki, a każda rozmowa w projekcie startuje z tą wiedzą. Wrzućcie tam opis metody i jeden raport z poprzedniego miesiąca, o którym wiecie, że jest dobry.
• Umiejętności w Claude. Anthropic nazywa je skills. To foldery z instrukcjami, czasem także ze skryptami i plikami, które Claude wczytuje sam, kiedy uzna, że pasują do zadania. Są dostępne także w darmowym planie, trzeba tylko włączyć w ustawieniach wykonywanie kodu. Claude może pomóc taką umiejętność napisać, dopytując o to, jak pracujecie. ChatGPT ma podobne umiejętności w planach dla firm.

Dla osób, które piszą kod, to samo robi plik z zasadami w projekcie. W Claude Code jest to CLAUDE.md, plik w głównym folderze projektu, który Claude Code czyta na początku każdej sesji. Wpisuje się tam standardy kodu i ważne decyzje.

Przeczytajcie instrukcję, zanim jej zaufacie

Najprościej poprosić AI, żeby samo spisało metodę po raporcie, który wyszedł dobrze. To rozsądny pomysł, pod warunkiem że przeczytacie, co napisało. W takiej instrukcji potrafi się znaleźć zdanie, którego nikt z Was nie ustalał. Na przykład że zwroty liczy się osobno, choć u Was się je odejmuje.

AI zapisało to, co zrobiło, a nie to, co powinno. Poprawcie to od razu, zanim instrukcja zacznie pracować co miesiąc.

Sama instrukcja też nie jest blokadą. W dokumentacji Claude Code Anthropic pisze wprost, że Claude traktuje takie pliki jak kontekst, a nie jak twarde ustawienia. Im instrukcja jest konkretniejsza i krótsza, tym wierniej Claude się jej trzyma. Lepiej kilka jasnych zdań niż długi opis, w którym ważna zasada ginie gdzieś w środku.

Sprawdźcie ją na zeszłym miesiącu

Zanim przestaniecie liczyć ręcznie, zróbcie test. Weźcie dane z miesiąca, dla którego znacie poprawny wynik, bo raport już poszedł i był sprawdzony. Uruchomcie na nich instrukcję w nowej rozmowie.

Jeśli zgadza się suma i podział na handlowców, instrukcja jest gotowa. Jeśli nie, znajdźcie zdanie, które daje różnicę, poprawcie je i powtórzcie test. Zwykle różnicę robi decyzja, której nikt nie zapisał.

Ten sam test warto powtórzyć po każdej zmianie w instrukcji i po aktualizacji modelu, bo nowy model może inaczej przeczytać te same słowa.

Zacznijcie od jednego raportu, który robicie co miesiąc. Spiszcie dla niego metodę i sprawdźcie ją na danych z zeszłego miesiąca, zanim oddacie go AI. Jeśli raport ma powstawać sam, bez wklejania eksportów, to już automatyzacja po stronie Waszego systemu, a nie rozmowa z AI.