Що бачить пошуковий робот на вашому сайті. Один рядок, який прибирає сайт із пошуку

Людина відкриває сайт і бачить картинки, розкладку й кольори. Пошуковий робот бачить текст і кілька файлів. Месенджер бачить чотири теги. AI-робот бачить те, що йому дозволили.

Ці три погляди можуть сильно розходитися з тим, що бачите ви.

Один рядок, який закриває сайт від пошукового робота

У кореневій теці сайту лежить файл robots.txt. Подивіться, чи нема в ньому таких двох рядків.

User-agent: *
Disallow: /

Якщо є, сайт закритий для всіх пошукових систем. Він нормально виглядає, нормально відкривається й нормально працює. Його просто нема в результатах пошуку.

Цей рядок зазвичай з'являється, коли працюють над новою версією сайту, щоб тестова версія не потрапила в індекс. А потім лишається, бо ніхто не пам'ятає, що його треба прибрати.

Перевірка займає кілька секунд. Наберіть у браузері адресу свого сайту й допишіть у кінці /robots.txt.

Карта сайту, про яку нікому не сказали

Файл sitemap.xml містить список адрес, які ви хочете бачити в пошуку. Буває, що він є, але в robots.txt про нього нема ані слова. Тоді пошуковик може так його й не знайти.

Буває й навпаки. robots.txt указує на карту, яка віддає помилку 404. З браузера обидві ситуації виглядають однаково, тобто ніяк.

Чотири теги, від яких залежить вигляд посилання

Ви вставляєте адресу сайту у WhatsApp чи в LinkedIn. Заголовок, опис і картинка, які при цьому з'являються, беруться з чотирьох тегів у коді. Це og:title, og:description, og:image і twitter:card.

Якщо їх нема, посилання виглядає як гола адреса. Якщо og:image веде на файл, якого нема, буде те саме. На нашому власному сайті так і було до серпня 2026 року. Тег стояв, а файлу не було.

AI-роботи потребують окремого рішення

GPTBot, ClaudeBot та подібні читають сторінки для мовних моделей. Їх можна заблокувати в robots.txt, і це нормальний вибір власника.

Варто тільки знати, що такий вибір зроблено. Буває, що блокування вписав виконавець і нікого не спитав. А фірма дізнається про це лише тоді, коли помічає, що AI-асистент розповідає про конкурентів, а про неї нічого не знає.

Те саме з файлом llms.txt, який підказує моделям, чим займається фірма. Він не обов'язковий і не є стандартом. Просто його легко зробити.

Що з цього можна перевірити самому за кілька хвилин

Три адреси в браузері, а саме /robots.txt, /sitemap.xml і /llms.txt. Потім вставте посилання на свій сайт у будь-який месенджер і подивіться, що з'явиться.

Решта потребує інструмента. Які структуровані дані є в коді, чи не вантажить сайт щось через http на сторінці з https, що саме бачить робот. Наш скан перевіряє все це разом і показує результат на екрані, без реєстрації.

Почніть із robots.txt. Помилка в ньому коштує найбільше, а виправлення займає хвилину.