Оновлено
Роботи AI в robots.txt польських сайтів. Ми перевірили 1000 доменів
Із 955 польських доменів, що відповіли, 17 відсотків блокують хоча б одного робота AI, а менше 3 відсотків блокують роботів, які шукають відповіді для користувача. Метод і цифри.
У цьому тексті
Коротко
Ми перевірили 1000 випадкових польських доменів зі списку Tranco. Відповіли 955, і всі відсотки рахуємо лише від них. 17 відсотків блокують у robots.txt хоча б одного робота AI, майже завжди тих, що збирають дані для навчання моделей. Роботів, які шукають відповідь для користувача під час розмови, блокують менше 3 відсотків. Карту сайту можна знайти на 71 відсотку доменів, а HTTPS працює майже на 95 відсотках.
Коли хтось питає ChatGPT чи Claude про фірму, інструмент часто сам заходить на сайти й читає їх під час розмови. Чи може він туди зайти, вирішує зокрема файл robots.txt. Ми хотіли перевірити, що польські сайти кажуть роботам AI в цьому файлі. Тому дослідили 1000 випадкових польських доменів.
Як ми перевіряли robots.txt польських доменів
Домени взято зі списку Tranco. Це публічний список найпопулярніших доменів світу, який науковці склали для досліджень і захистили від маніпуляцій (tranco-list.eu). Ми взяли список з ідентифікатором 8P8NV, завантажений 9 листопада 2026 року. З мільйона доменів 9401 закінчується на .pl. З них ми випадково вибрали 1000 з фіксованим зерном, тож ту саму вибірку можна повторити.
Це список популярних доменів, а не список сайтів фірм. У ньому є магазини, медіа, портали, установи, університети й сайти малих фірм. Ми не ділили їх за типами, бо не маємо для цього надійного методу.
Кожен домен ми перевірили одним або двома запитами, по черзі, із секундною паузою між доменами.
- Завантажили robots.txt через HTTPS. Якщо HTTPS не відповів, один раз пробували через HTTP.
- Правило для кожного робота AI прочитали з того самого файлу тим самим кодом, що працює в нашому інструменті чи бачить AI сайт. Важить, чи може робот відкрити головну сторінку.
- Карту сайту вважали наявною, коли robots.txt вказує її адресу. Якщо не вказує, ми робили один запит до sitemap.xml, і лише тоді, коли robots.txt це дозволяв.
На домен випало не більше трьох запитів, у середньому півтора. Дослідження тривало 28 хвилин. Публікуємо лише загальні цифри, без назв доменів.
Скільки доменів узагалі відповіли
З 1000 доменів відповіли 955. Решта 45 не відповіли. 19 з них не пройшли нашої перевірки адреси в DNS, майже завжди тому, що сам домен без www не має адреси. 26 не відповіли за 10 секунд. Усі відсотки нижче рахуємо від 955 доменів, що відповіли.
Яких роботів AI блокують польські домени
Файл robots.txt мають 800 доменів, тобто 84 відсотки. Кожен п’ятий домен, а саме 199, називає в ньому хоча б одного робота AI з нашого списку.
Хоча б одного робота AI блокують 162 домени, тобто 17 відсотків. Серед них 15 доменів закривають головну сторінку від усіх роботів одразу.
| Робот | Для чого | Доменів з блокуванням | Відсоток |
|---|---|---|---|
| ClaudeBot | навчання моделей | 136 | 14,2 |
| GPTBot | навчання моделей | 133 | 13,9 |
| CCBot | набір Common Crawl | 115 | 12,0 |
| Google-Extended | навчання моделей | 87 | 9,1 |
| Applebot-Extended | навчання моделей | 83 | 8,7 |
| ChatGPT-User | вхід на прохання користувача | 35 | 3,7 |
| PerplexityBot | пошук | 22 | 2,3 |
| OAI-SearchBot | пошук | 18 | 1,9 |
| Claude-SearchBot | пошук | 18 | 1,9 |
У цифрах для кожного робота є й домени, що блокують усіх роботів. Якщо їх не рахувати, пошукових роботів і роботів, що заходять на прохання користувача, блокують лише 25 доменів, тобто 2,6 відсотка.
Отже, польські домени частіше закриваються від роботів, які збирають тексти для навчання, і рідко від тих, що шукають відповідь для користувача під час розмови. Це логічно. Заборона навчання це свідомий вибір. Заборона пошуку означає, що асистент AI не прочитає сайт, коли хтось питає про фірму.
Карта сайту і HTTPS
Адресу карти сайту в robots.txt вказують 497 доменів, тобто 52 відсотки. Ще 184 домени, тобто 19 відсотків, мають файл sitemap.xml за звичайною адресою. Разом карту можна знайти на 681 домені, тобто на 71 відсотку. На 263 доменах, тобто 28 відсотках, ми не знайшли її жодним шляхом. На 11 доменах robots.txt не дозволяв нам питати, тож ми не питали.
Через HTTPS з правильним сертифікатом відповіли 904 домени, тобто 94,7 відсотка.
Чого це дослідження не показує
Список Tranco охоплює популярні домени. Малі фірми трапляються в ньому рідше, ніж великі сервіси, тож результати не описують усіх польських сайтів.
Ми не пробували версію з www, тож домени, що працюють лише з www, потрапили до тих, що не відповіли. Ми перевіряли лише robots.txt і лише головну сторінку. Робота може блокувати ще й захист сервера чи налаштування хостингу, а цього файл не показує. Карту сайту шукали у двох місцях. Якщо вона лежить деінде й не згадана в robots.txt, ми рахуємо її як відсутню, хоча Google міг отримати її іншим шляхом. Частина серверів неправильно відповідає на запит HEAD, яким ми питали про sitemap.xml, тож і такі домени могли потрапити до відсутніх.
Що зробити у себе
Відкрийте адресу свого сайту з /robots.txt у кінці й перевірте, чи нема там блокування для пошукових роботів AI, якого ви не ставили свідомо. Швидше це зробить наш безкоштовний інструмент чи бачить AI сайт. Якщо хочете знати, де AI допоможе самій фірмі, а не лише сайту, поговорімо на безкоштовному аудиті AI.
Що хочете змінити у своїй фірмі?
Залиште номер. Поговоримо про ваш процес і перевіримо, чи можемо допомогти. Перша розмова безкоштовна.
Послуга, про яку цей текст
СайтиСайт під вашу фірму, а не з шаблону. Перш ніж ви заплатите, покажемо робочий прототип.
Перевірте це у себеБезкоштовний аудит