Що таке LLM. Модель передбачає наступний шматок тексту, а не перевіряє факти

Що таке велика мовна модель, як її навчають, чому вона вигадує з повною впевненістю і чим модель відрізняється від застосунку, як-от Claude чи ChatGPT.

У цьому тексті
  1. Що таке LLM у кількох реченнях
  2. Як навчають мовну модель
  3. Передбачення наступного токена
  4. Чому LLM вигадує
  5. У чому LLM сильна, а в чому ні
  6. Модель і застосунок, тобто Claude і ChatGPT

Коротко

LLM, тобто велика мовна модель, це програма, навчена на величезній кількості тексту, яка пише відповідь шматок за шматком, передбачаючи, що пасує далі. Тому вона може звучати впевнено й водночас вигадувати, і Anthropic називає це галюцинацією. Claude і ChatGPT це застосунки, у яких така модель працює разом з інструментами.

Працівник питає чат про норму в новому законі й отримує відповідь з номером статті, назвою і коротенькою цитатою. Звучить упевнено. Такої статті нема. Щоб зрозуміти, звідки це береться, треба знати, що таке LLM, тобто велика мовна модель, і що саме вона робить, коли відповідає.

Коротке визначення є в нашому словнику AI. Тут ідемо глибше. Текст належить до посібника з Claude Code, а факти про моделі ми беремо зі словничка Anthropic, станом на 10 листопада 2026.

Що таке LLM у кількох реченнях

LLM це скорочення від англійського large language model. Anthropic описує її як мовну модель з дуже великою кількістю параметрів, навчену на величезних обсягах тексту, яка вміє писати, відповідати на питання й стискати текст до головного. Параметри це числа всередині моделі, які налаштовуються під час навчання.

Модель не є базою даних з готовими відповідями. У ній нема таблиці законів чи каталогу сайтів, куди вона заглядає. Це набір вивчених залежностей між шматками тексту. Звідси і її сила, і її слабкість.

Як навчають мовну модель

Навчання має два етапи. Перший це передтренування. Модель читає величезний масив текстів і вчиться передбачати наступне слово з того, що було раніше. Anthropic прямо пише, що модель після самого передтренування погано відповідає на питання й погано виконує вказівки.

Другий етап це донавчання. Модель тренують далі на додаткових даних, а потім методом RLHF, тобто навчанням з підкріпленням на основі людських оцінок. Люди порівнюють кілька відповідей і вибирають кращу, а модель вчиться писати так, як ті, що оцінені вище. Тільки після цього етапу вона поводиться як асистент, що відповідає на питання й тримається вказівок. Claude пройшов обидва етапи.

З навчання випливає й межа знань. Модель знає світ до певного моменту, а пізніше вже нічого не читала. Anthropic вказує цю дату для кожної моделі в огляді моделей. Для нинішніх моделей Claude це червень 2026. Про те, що сталося пізніше, модель знає тільки тоді, коли має пошук або коли ви їй це вставите.

Передбачення наступного токена

Модель не бачить ні літер, ні цілих слів. Текст ділять на токени, тобто шматки слів, іноді короткі цілі слова чи окремі символи. Докладніше про них ми пишемо в тексті про токени й вікно контексту.

Відповідь з'являється токен за токеном. Модель дивиться на всю розмову, вираховує, які шматки пасують далі, вибирає один, дописує його й повторює те саме для наступного. Новіші моделі вміють подумати перед відповіддю, але це мислення теж текст, згенерований токен за токеном, і рахується як решта відповіді.

Вибір наступного токена не завжди однаковий. Цим керує параметр, який називають температурою. За вищої відповіді різноманітніші, за нижчої передбачуваніші. Anthropic зазначає, що навіть за нульової температури те саме питання може дати різні відповіді. Звідси різні цифри в тому самому звіті, зробленому двічі, про що ми пишемо в тексті про повторювані результати AI.

Чому LLM вигадує

Модель вчилася писати текст, який пасує до контексту й нагадує те, що вона вже читала. З опису навчання видно, що метою було влучно передбачити продовження, а не перевірити правду. Коли ви питаєте про щось, чого модель добре не знає, вона все одно напише речення, яке звучить правильно. Номер статті з початку тексту виглядає як справжній, бо справжні номери виглядають схоже.

Anthropic називає це галюцинацією і в посібнику про зменшення галюцинацій дає три базові способи. Перший це прямо дозволити моделі сказати «не знаю». Другий стосується довгих документів. Модель спершу виписує дослівні цитати, а вже потім працює з ними. Третій це вимагати джерело для кожного твердження й прибирати те, що вона не підтвердить цитатою. Документація додає, що ці методи зменшують кількість галюцинацій, але не прибирають їх, тож важливе все одно треба перевіряти.

У звичайному чаті це може виглядати так.

Відповідай тільки на основі доданого договору. До кожної відповіді додай дослівну цитату з договору. Якщо в договорі чогось нема, напиши «у документі нема».

У чому LLM сильна, а в чому ні

Модель добре працює з текстом, який у вас уже є. Стискає, переписує іншим тоном, перекладає, складає нотатки в таблицю й пише першу версію листа чи опису. Нинішні моделі Claude читають і зображення та працюють багатьма мовами.

Слабше там, де важить факт поза розмовою. Дати, номери норм, ціни, контакти. Відповідь з пам'яті моделі тут лише відправна точка, яку треба звірити з джерелом. З великими таблицями в нас модель пише формулу чи скрипт, а рахує таблиця або код. Тоді результат можна перевірити, а не вірити йому на слово.

Допомагає й добрий опис задачі. Контекст, мету й те, чого модель не має робити, ми описали в тексті про те, як писати промпти.

Модель і застосунок, тобто Claude і ChatGPT

Claude і ChatGPT це назви застосунків, а всередині кожного працює одна або кілька моделей. Застосунок додає до моделі решту. Вікно розмови, пам'ять, пошук, файли й зв'язок з поштою чи календарем. У застосунку Claude є вибір моделі, а в Claude Code її змінюють командою /model.

Anthropic зараз має кілька моделей з різним призначенням. Найсильніші для складних міркувань і довгої роботи агента, найлегша для швидких задач у великій кількості, як-от класифікація чи витягування даних. Як підібрати модель до задачі, ми описали в тексті яку модель AI обрати.

Сама модель тільки пише текст. Коли вона отримує інструменти, наприклад для читання файлів чи запуску команд, вона може сама робити наступні кроки. Тоді говоримо про агента, якого ми описали в тексті що таке AI-агент.

Сприймайте відповідь моделі як чернетку від людини, яка багато читала, але нічого не перевірила. Факти, що йдуть клієнтові чи до державної установи, підтверджуйте в джерелі.

Якщо хочете знати, де AI може зняти роботу з вашої фірми, замовте безкоштовний аудит AI. Ми переглянемо ваші задачі й скажемо, з чого почати.

Що хочете змінити у своїй фірмі?

Залиште номер. Поговоримо про ваш процес і перевіримо, чи можемо допомогти. Перша розмова безкоштовна.

Коли зручно зателефонувати?
Адміністратор: Oleksandr Bondarenko (BondSoft)Політика конфіденційностіРегламент
Юридичні деталі

Адміністратором даних є Oleksandr Bondarenko, що веде господарську діяльність під фірмою Oleksandr Bondarenko Software Solutions (BondSoft), ul. Jana Heweliusza 11, 80-890 Gdańsk, NIP 5833576264, e-mail: office@bondsoft.pl.

Дані обробляємо виключно з метою контакту у справі вашого запиту та надання пропозиції — на підставі вашої згоди (ст. 6 ч. 1 п. a RODO та ст. 398 закону Prawo komunikacji elektronicznej) і нашого правомірного інтересу, що полягає в опрацюванні запиту (ст. 6 ч. 1 п. f RODO).

Надання даних добровільне, але необхідне для зворотного контакту. Згоду можете відкликати будь-коли, написавши на office@bondsoft.pl — це не впливає на законність обробки до відкликання.

Ви маєте право на доступ до даних, їх виправлення, видалення, обмеження обробки, перенесення, а також на скаргу до Голови Управління охорони персональних даних.

Повна інформація: Політика конфіденційності.

Напишіть на пошту

Послуга, про яку цей текст

Автоматизація та AI / OCR

Автоматизація переписування документів, OCR і правила перевірки, а дані лишаються у вас.