Roboty AI w robots.txt polskich stron. Sprawdziliśmy 1000 domen

Na 955 odpowiadających polskich domenach 17 procent blokuje co najmniej jednego robota AI, a niespełna 3 procent roboty, które szukają odpowiedzi dla użytkowników. Metoda i liczby.

W tym tekście
  1. Jak zbadaliśmy robots.txt polskich domen
  2. Ile domen w ogóle odpowiedziało
  3. Które roboty AI blokują polskie domeny
  4. Mapa strony i HTTPS
  5. Czego to badanie nie mówi
  6. Co z tym zrobić u siebie

W skrócie

Sprawdziliśmy 1000 losowych polskich domen z listy Tranco. Odpowiedziało 955 i tylko od nich liczymy procenty. 17 procent blokuje w robots.txt co najmniej jednego robota AI, prawie zawsze roboty, które zbierają dane do trenowania modeli. Roboty, które szukają odpowiedzi dla użytkownika w czasie rozmowy, blokuje niespełna 3 procent. Mapę strony da się znaleźć na 71 procentach domen, a HTTPS działa na prawie 95 procentach.

Kiedy ktoś pyta ChatGPT albo Claude o firmę, narzędzie często samo wchodzi na strony i czyta je w czasie rozmowy. Czy może tam wejść, decyduje między innymi plik robots.txt. Chcieliśmy sprawdzić, co polskie strony mówią robotom AI w tym pliku. Dlatego zbadaliśmy 1000 losowych polskich domen.

Jak zbadaliśmy robots.txt polskich domen

Źródłem domen jest lista Tranco. To publiczna lista najpopularniejszych domen świata, przygotowana przez naukowców do badań i odporna na manipulacje (tranco-list.eu). Użyliśmy listy o identyfikatorze 8P8NV, pobranej 9 listopada 2026. Na milionie domen 9401 kończy się na .pl. Z nich wylosowaliśmy 1000 ze stałym ziarnem losowania, więc tę samą próbę da się powtórzyć.

To lista popularnych domen, a nie lista stron firm. Są w niej sklepy, media, portale, urzędy, uczelnie i strony małych firm. Nie dzieliliśmy ich na rodzaje, bo nie mamy na to rzetelnej metody.

Każdą domenę sprawdziliśmy jednym albo dwoma zapytaniami, po kolei, z sekundową przerwą między domenami.

  1. Pobraliśmy plik robots.txt przez HTTPS. Jeśli HTTPS nie odpowiedział, jeden raz próbowaliśmy przez HTTP.
  2. Regułę dla każdego robota AI odczytaliśmy z tego samego pliku tym samym kodem, którego używa nasze narzędzie czy AI widzi stronę. Liczy się to, czy robot może wejść na stronę główną.
  3. Mapę strony uznaliśmy za obecną, gdy robots.txt podaje jej adres. Jeśli nie podaje, zadaliśmy jedno zapytanie o plik sitemap.xml, i tylko wtedy, gdy robots.txt na to pozwalał.

Na domenę wypadło najwyżej trzy zapytania, a średnio półtora. Badanie trwało 28 minut. Publikujemy tylko liczby zbiorcze, bez nazw domen.

Ile domen w ogóle odpowiedziało

Z 1000 domen odpowiedziało 955. Pozostałe 45 nie odpowiedziało. 19 z nich nie przeszło naszego sprawdzenia adresu w DNS, prawie zawsze dlatego, że sama domena bez www nie ma adresu. 26 nie odpowiedziało w ciągu 10 sekund. Wszystkie procenty poniżej liczymy od 955 domen, które odpowiedziały.

Które roboty AI blokują polskie domeny

Plik robots.txt ma 800 domen, czyli 84 procent. Co piąta domena, dokładnie 199, wymienia w nim z nazwy przynajmniej jednego robota AI z naszej listy.

Przynajmniej jednego robota AI blokuje 162 domen, czyli 17 procent. W tym 15 domen zamyka stronę główną przed wszystkimi robotami naraz.

RobotDo czego służyDomen z blokadąProcent
ClaudeBottrenowanie modeli13614,2
GPTBottrenowanie modeli13313,9
CCBotzbiór Common Crawl11512,0
Google-Extendedtrenowanie modeli879,1
Applebot-Extendedtrenowanie modeli838,7
ChatGPT-Userwejście na prośbę użytkownika353,7
PerplexityBotwyszukiwanie222,3
OAI-SearchBotwyszukiwanie181,9
Claude-SearchBotwyszukiwanie181,9

W liczbach dla każdego robota są też domeny, które blokują wszystkie roboty. Jeśli je pominąć, roboty wyszukiwania i wejścia na prośbę użytkownika blokuje tylko 25 domen, czyli 2,6 procent.

Polskie domeny częściej odcinają więc roboty, które zbierają teksty do trenowania modeli, a rzadko te, które szukają odpowiedzi dla użytkownika w czasie rozmowy. To ma sens. Blokada trenowania to świadomy wybór. Blokada wyszukiwania sprawia, że asystent AI nie przeczyta strony, kiedy ktoś pyta o firmę. Jak sprawdzić to u siebie, opisaliśmy w tekście co widzi robot, gdy otwiera Waszą stronę.

Mapa strony i HTTPS

Adres mapy strony w robots.txt podaje 497 domen, czyli 52 procent. Kolejne 184 domeny, czyli 19 procent, mają plik sitemap.xml pod zwykłym adresem. Razem mapę da się znaleźć na 681 domenach, czyli 71 procentach. Na 263 domenach, czyli 28 procentach, nie znaleźliśmy jej żadną z tych dróg. Przy 11 domenach robots.txt nie pozwalał nam zapytać, więc nie pytaliśmy.

Przez HTTPS z poprawnym certyfikatem odpowiedziało 904 domen, czyli 94,7 procent.

Czego to badanie nie mówi

Lista Tranco obejmuje domeny popularne. Małe firmy są w niej rzadziej niż duże serwisy, więc wyniki nie opisują wszystkich polskich stron.

Nie próbowaliśmy wersji z www, więc domeny, które działają tylko pod www, są wśród tych, które nie odpowiedziały. Sprawdzaliśmy tylko robots.txt i tylko stronę główną. Robot może być też blokowany przez zaporę serwera albo przez ustawienia dostawcy hostingu, a tego plik nie pokazuje. Mapy strony szukaliśmy w dwóch miejscach. Jeśli leży gdzie indziej i nie ma jej w robots.txt, liczymy ją jako brak, choć Google mógł ją dostać inną drogą. Część serwerów nie odpowiada poprawnie na zapytanie HEAD, którym pytaliśmy o sitemap.xml. Te domeny też mogły trafić do braków.

Co z tym zrobić u siebie

Otwórzcie adres Waszej strony z końcówką /robots.txt i sprawdźcie, czy nie ma tam blokady dla robotów wyszukiwania AI, której nie ustawialiście świadomie. Szybciej zrobi to nasze bezpłatne narzędzie czy AI widzi stronę. Jeśli chcecie wiedzieć, gdzie AI może pomóc samej firmie, a nie tylko stronie, porozmawiajmy na bezpłatnym audycie AI.

Co chcecie zmienić w swojej firmie?

Zostawcie numer. Porozmawiamy o Waszym procesie i sprawdzimy, czy możemy pomóc. Pierwsza rozmowa jest bezpłatna.

Kiedy najlepiej zadzwonić?
Administrator: Oleksandr Bondarenko (BondSoft)Polityka prywatnościRegulamin
Szczegóły prawne

Administratorem danych jest Oleksandr Bondarenko, prowadzący działalność gospodarczą pod firmą Oleksandr Bondarenko Software Solutions (BondSoft), ul. Jana Heweliusza 11, 80-890 Gdańsk, NIP 5833576264, e-mail: office@bondsoft.pl.

Dane przetwarzamy wyłącznie w celu kontaktu w sprawie Twojego zapytania i przedstawienia oferty — na podstawie Twojej zgody (art. 6 ust. 1 lit. a RODO oraz art. 398 ustawy Prawo komunikacji elektronicznej) oraz naszego prawnie uzasadnionego interesu polegającego na obsłudze zapytania (art. 6 ust. 1 lit. f RODO).

Podanie danych jest dobrowolne, ale niezbędne do kontaktu zwrotnego. Zgodę możesz wycofać w każdej chwili, pisząc na office@bondsoft.pl — nie wpływa to na zgodność z prawem przetwarzania sprzed wycofania.

Masz prawo dostępu do danych, ich sprostowania, usunięcia, ograniczenia przetwarzania, przenoszenia oraz wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.

Pełna informacja: Polityka prywatności.

Napiszcie e-mail

Usługa, o której jest ten tekst

Strony internetowe

Strona zrobiona pod Waszą firmę, nie z szablonu. Zanim zapłacicie, pokażemy działający prototyp.

Sprawdźcie to u siebieDarmowy audyt