Роботи AI в robots.txt польських сайтів. Ми перевірили 1000 доменів

Із 955 польських доменів, що відповіли, 17 відсотків блокують хоча б одного робота AI, а менше 3 відсотків блокують роботів, які шукають відповіді для користувача. Метод і цифри.

У цьому тексті
  1. Як ми перевіряли robots.txt польських доменів
  2. Скільки доменів узагалі відповіли
  3. Яких роботів AI блокують польські домени
  4. Карта сайту і HTTPS
  5. Чого це дослідження не показує
  6. Що зробити у себе

Коротко

Ми перевірили 1000 випадкових польських доменів зі списку Tranco. Відповіли 955, і всі відсотки рахуємо лише від них. 17 відсотків блокують у robots.txt хоча б одного робота AI, майже завжди тих, що збирають дані для навчання моделей. Роботів, які шукають відповідь для користувача під час розмови, блокують менше 3 відсотків. Карту сайту можна знайти на 71 відсотку доменів, а HTTPS працює майже на 95 відсотках.

Коли хтось питає ChatGPT чи Claude про фірму, інструмент часто сам заходить на сайти й читає їх під час розмови. Чи може він туди зайти, вирішує зокрема файл robots.txt. Ми хотіли перевірити, що польські сайти кажуть роботам AI в цьому файлі. Тому дослідили 1000 випадкових польських доменів.

Як ми перевіряли robots.txt польських доменів

Домени взято зі списку Tranco. Це публічний список найпопулярніших доменів світу, який науковці склали для досліджень і захистили від маніпуляцій (tranco-list.eu). Ми взяли список з ідентифікатором 8P8NV, завантажений 9 листопада 2026 року. З мільйона доменів 9401 закінчується на .pl. З них ми випадково вибрали 1000 з фіксованим зерном, тож ту саму вибірку можна повторити.

Це список популярних доменів, а не список сайтів фірм. У ньому є магазини, медіа, портали, установи, університети й сайти малих фірм. Ми не ділили їх за типами, бо не маємо для цього надійного методу.

Кожен домен ми перевірили одним або двома запитами, по черзі, із секундною паузою між доменами.

  1. Завантажили robots.txt через HTTPS. Якщо HTTPS не відповів, один раз пробували через HTTP.
  2. Правило для кожного робота AI прочитали з того самого файлу тим самим кодом, що працює в нашому інструменті чи бачить AI сайт. Важить, чи може робот відкрити головну сторінку.
  3. Карту сайту вважали наявною, коли robots.txt вказує її адресу. Якщо не вказує, ми робили один запит до sitemap.xml, і лише тоді, коли robots.txt це дозволяв.

На домен випало не більше трьох запитів, у середньому півтора. Дослідження тривало 28 хвилин. Публікуємо лише загальні цифри, без назв доменів.

Скільки доменів узагалі відповіли

З 1000 доменів відповіли 955. Решта 45 не відповіли. 19 з них не пройшли нашої перевірки адреси в DNS, майже завжди тому, що сам домен без www не має адреси. 26 не відповіли за 10 секунд. Усі відсотки нижче рахуємо від 955 доменів, що відповіли.

Яких роботів AI блокують польські домени

Файл robots.txt мають 800 доменів, тобто 84 відсотки. Кожен п’ятий домен, а саме 199, називає в ньому хоча б одного робота AI з нашого списку.

Хоча б одного робота AI блокують 162 домени, тобто 17 відсотків. Серед них 15 доменів закривають головну сторінку від усіх роботів одразу.

РоботДля чогоДоменів з блокуваннямВідсоток
ClaudeBotнавчання моделей13614,2
GPTBotнавчання моделей13313,9
CCBotнабір Common Crawl11512,0
Google-Extendedнавчання моделей879,1
Applebot-Extendedнавчання моделей838,7
ChatGPT-Userвхід на прохання користувача353,7
PerplexityBotпошук222,3
OAI-SearchBotпошук181,9
Claude-SearchBotпошук181,9

У цифрах для кожного робота є й домени, що блокують усіх роботів. Якщо їх не рахувати, пошукових роботів і роботів, що заходять на прохання користувача, блокують лише 25 доменів, тобто 2,6 відсотка.

Отже, польські домени частіше закриваються від роботів, які збирають тексти для навчання, і рідко від тих, що шукають відповідь для користувача під час розмови. Це логічно. Заборона навчання це свідомий вибір. Заборона пошуку означає, що асистент AI не прочитає сайт, коли хтось питає про фірму.

Карта сайту і HTTPS

Адресу карти сайту в robots.txt вказують 497 доменів, тобто 52 відсотки. Ще 184 домени, тобто 19 відсотків, мають файл sitemap.xml за звичайною адресою. Разом карту можна знайти на 681 домені, тобто на 71 відсотку. На 263 доменах, тобто 28 відсотках, ми не знайшли її жодним шляхом. На 11 доменах robots.txt не дозволяв нам питати, тож ми не питали.

Через HTTPS з правильним сертифікатом відповіли 904 домени, тобто 94,7 відсотка.

Чого це дослідження не показує

Список Tranco охоплює популярні домени. Малі фірми трапляються в ньому рідше, ніж великі сервіси, тож результати не описують усіх польських сайтів.

Ми не пробували версію з www, тож домени, що працюють лише з www, потрапили до тих, що не відповіли. Ми перевіряли лише robots.txt і лише головну сторінку. Робота може блокувати ще й захист сервера чи налаштування хостингу, а цього файл не показує. Карту сайту шукали у двох місцях. Якщо вона лежить деінде й не згадана в robots.txt, ми рахуємо її як відсутню, хоча Google міг отримати її іншим шляхом. Частина серверів неправильно відповідає на запит HEAD, яким ми питали про sitemap.xml, тож і такі домени могли потрапити до відсутніх.

Що зробити у себе

Відкрийте адресу свого сайту з /robots.txt у кінці й перевірте, чи нема там блокування для пошукових роботів AI, якого ви не ставили свідомо. Швидше це зробить наш безкоштовний інструмент чи бачить AI сайт. Якщо хочете знати, де AI допоможе самій фірмі, а не лише сайту, поговорімо на безкоштовному аудиті AI.

Що хочете змінити у своїй фірмі?

Залиште номер. Поговоримо про ваш процес і перевіримо, чи можемо допомогти. Перша розмова безкоштовна.

Коли зручно зателефонувати?
Адміністратор: Oleksandr Bondarenko (BondSoft)Політика конфіденційностіРегламент
Юридичні деталі

Адміністратором даних є Oleksandr Bondarenko, що веде господарську діяльність під фірмою Oleksandr Bondarenko Software Solutions (BondSoft), ul. Jana Heweliusza 11, 80-890 Gdańsk, NIP 5833576264, e-mail: office@bondsoft.pl.

Дані обробляємо виключно з метою контакту у справі вашого запиту та надання пропозиції — на підставі вашої згоди (ст. 6 ч. 1 п. a RODO та ст. 398 закону Prawo komunikacji elektronicznej) і нашого правомірного інтересу, що полягає в опрацюванні запиту (ст. 6 ч. 1 п. f RODO).

Надання даних добровільне, але необхідне для зворотного контакту. Згоду можете відкликати будь-коли, написавши на office@bondsoft.pl — це не впливає на законність обробки до відкликання.

Ви маєте право на доступ до даних, їх виправлення, видалення, обмеження обробки, перенесення, а також на скаргу до Голови Управління охорони персональних даних.

Повна інформація: Політика конфіденційності.

Напишіть на пошту

Послуга, про яку цей текст

Сайти

Сайт під вашу фірму, а не з шаблону. Перш ніж ви заплатите, покажемо робочий прототип.

Перевірте це у себеБезкоштовний аудит