Чому AI тупіє в довгій розмові, а ChatGPT забуває домовленості

Зранку ви написали в чаті, що відповіді мають бути короткі й без списків. У перших повідомленнях так і було. Після обіду ChatGPT знову пише довгі списки з жирним шрифтом і плутає дві пропозиції, які ви обговорювали раніше. Так ChatGPT забуває домовленості в довгій розмові, і в Claude буває те саме.

Це не збій і не чиясь зла воля. Так працюють мовні моделі, і це можна обійти кількома простими звичками.

Чому ChatGPT забуває, про що ви домовились

Модель не пам'ятає розмову так, як людина. Для кожної відповіді вона дивиться на текст, що вміщується в так зване контекстне вікно. У документації Anthropic його називають робочою пам'яттю моделі. Там усе, на що модель може спертися, коли пише відповідь.

Вікно велике, але має межу. І є друга, менш очевидна річ. За документацією Anthropic, що більше тексту в контексті, то гірше модель влучає в деталі й пригадує їх. Більше контексту не означає автоматично краще.

На практиці ваша ранкова інструкція лежить десь далеко, під вставленими листами й безліччю правок. Вона отримує менше уваги, ніж те, що ви написали хвилину тому. У дуже довгій розмові найстаріші частини можуть стиснутися до короткого переказу або випасти. Claude за деяких налаштувань сам переказує ранні повідомлення, коли розмова наближається до межі.

Звідси дрейф. Повертається стиль, який ви давно виправили, а відповідь змішує дві теми з однієї розмови.

Одне завдання, одна розмова

Це найпростіша звичка. Пропозиція для клієнта йде в одну розмову, таблиця із замовленнями в іншу. Коли все в одному вікні, модель бачить обидві теми разом і починає їх змішувати.

У Claude є ще один плюс. Довжина розмови впливає на те, як швидко витрачається ліміт плану, а довгі розмови, які Claude мусить переказувати, витрачають його більше. Anthropic сам радить тоді почати нову розмову.

З документами те саме. Замість того щоб вставляти весь регламент магазину й питати про повернення, вставте лише розділ про повернення і напишіть, що йдеться саме про нього. У довгому файлі вкажіть конкретне місце, номер пункту чи заголовок. Менше тексту у вікні означає більше уваги до важливого.

Коли відповіді починають «пливти»

Починати з нуля не обов'язково. Коли бачите дрейф, напишіть у тій самій розмові приблизно так.

Коротко перекажи, про що ми домовились. Мета, рішення, дані, з якими працюємо, і правила тексту. Без коментарів.

Прочитайте переказ і виправте, якщо щось перекручено. Потім відкрийте новий чат і вставте його першим повідомленням. Модель починає з чистого аркуша, але з тим, що справді важливо.

Краще зробити це раніше, ніж учергове виправляти те саме в старій розмові. Кожна правка додає у вікно ще трохи тексту, який модель однаково має прочитати.

Постійні інструкції тримайте поза чатом

Якщо в кожній розмові ви пишете те саме, наприклад чим займається фірма і яким тоном ви відповідаєте клієнтам, перенесіть це в налаштування.

У ChatGPT для цього є два місця. У налаштуваннях персоналізації є поле для власних інструкцій, англійською Custom instructions, і вони діють у всіх розмовах. Є ще проєкти, які збирають розмови, файли та інструкції однієї теми. Інструкції проєкту діють лише в ньому і мають перевагу над загальними.

У Claude схоже. У налаштуваннях є поле Instructions for Claude, воно діє в кожній розмові. Проєкти мають власні файли й інструкції, що працюють лише в чатах цього проєкту. На платних планах, коли файлів багато, Claude завантажує в контекст лише ті частини, які потрібні для питання.

Anthropic радить робити інструкції проєкту короткими і про загальний контекст, а завдання на сьогодні писати вже в чаті. Це добре правило і для ChatGPT.

Якщо хтось у фірмі щодня переносить ті самі дані в чат, порахуйте, скільки часу це забирає, у калькуляторі ручної роботи. Іноді це знак, що завданню місце в автоматизації, а не в черговій розмові.

Коли відповіді починають «пливти», не виправляйте їх без кінця. Попросіть короткий переказ і почніть новий чат.