Co widzi robot, gdy otwiera Waszą stronę

Człowiek otwiera stronę i widzi obrazki, układ i kolory. Robot wyszukiwarki widzi tekst i kilka plików. Komunikator widzi cztery znaczniki. Robot AI widzi to, na co mu pozwolono.

Te trzy widoki potrafią się mocno rozjechać z tym, co widzicie Wy.

Jeden wiersz, który wyłącza stronę z wyszukiwarki

W katalogu głównym leży plik robots.txt. Jeśli jest w nim to:

User-agent: *
Disallow: /

— strona jest zamknięta dla wszystkich wyszukiwarek. Wygląda normalnie, otwiera się normalnie, działa normalnie. Po prostu nie istnieje w wynikach.

Ten wiersz trafia tam zwykle podczas prac nad nową wersją, żeby wersja testowa nie weszła do indeksu. I zostaje, bo nikt nie pamięta, żeby go zdjąć.

Sprawdzenie zajmuje kilkanaście sekund: wpiszcie w przeglądarce adres swojej strony i dopiszcie /robots.txt.

Mapa strony, o której nikt nie powiedział

Plik sitemap.xml to lista adresów, które chcecie widzieć w wyszukiwarce. Bywa, że istnieje, ale nie jest wymieniony w robots.txt — wtedy wyszukiwarka może go nigdy nie znaleźć.

Bywa też odwrotnie: robots.txt wskazuje mapę, która zwraca błąd 404. Obie sytuacje wyglądają identycznie z przeglądarki, czyli wcale.

Cztery znaczniki, które decydują, jak wygląda link

Wklejacie adres strony na WhatsAppie albo na LinkedInie. To, co się pokazuje — tytuł, opis, obrazek — bierze się z czterech znaczników w kodzie: og:title, og:description, og:image, twitter:card.

Jeśli ich nie ma, link wygląda jak goły adres. Jeśli og:image wskazuje na plik, którego nie ma, jest tak samo. Nasza własna strona miała ten drugi przypadek do sierpnia 2026 — znacznik był, pliku nie było.

Roboty AI to osobna decyzja

GPTBot, ClaudeBot i podobne czytają strony na potrzeby modeli. Można je zablokować w robots.txt i to jest w pełni legalny wybór właściciela.

Warto tylko wiedzieć, że taki wybór został dokonany. Zdarza się, że blokadę wpisał wykonawca, nie pytając — a firma dowiaduje się o tym dopiero wtedy, gdy zauważa, że asystent AI opisuje konkurencję, a o niej nie wie nic.

To samo dotyczy pliku llms.txt, który mówi modelom, czym firma się zajmuje. Nie jest obowiązkowy i nie jest standardem — jest po prostu tani.

Co z tego sprawdzicie sami, w kwadrans

Trzy adresy w przeglądarce: /robots.txt, /sitemap.xml, /llms.txt. Do tego wklejcie link do swojej strony w dowolnym komunikatorze i zobaczcie, co się pokaże.

Reszta — jakie dane strukturalne są w kodzie, czy strona nie ładuje zasobów po http na stronie https, co dokładnie widzi robot — wymaga narzędzia. Nasz skan sprawdza to wszystko naraz i pokazuje wynik na ekranie, bez rejestracji.

Zacznijcie od robots.txt. To jedno pole, w którym błąd kosztuje najwięcej, a naprawa trwa minutę.