Narzędzie do sprawdzania robotów AI
Sprawdź reguły robots.txt, sygnały dotyczące indeksowania i odpowiedzi HTTP. Zobacz, co blokuje dostęp robotom AI, zanim zmienisz reguły swojej strony.
Bezpłatnie, bez konta i bez podawania adresu e-mail. Sprawdzenie trwa kilka sekund.
To bezpłatne narzędzie odczytuje robots.txt, sprawdza sygnały meta robots i X-Robots-Tag oraz wysyła żądania z identyfikatorami robotów AI. Każdy wiersz pokazuje pasującą regułę i odpowiedź HTTP. Wyniki „dostęp dozwolony”, „dostęp zablokowany” i „wynik niejednoznaczny” opisują to, co zaobserwowaliśmy z naszego serwera. Nie dowodzą, że prawdziwy robot otrzyma tę samą odpowiedź.
Jak działa to sprawdzenie
- robots.txt
- Plik robots.txt witryny jest odczytywany raz, a reguły każdego robota dla danej strony są stosowane zgodnie z RFC 9309: grupa wymieniająca robota ma pierwszeństwo przed grupą dla wszystkich robotów.
- Żądanie jako każdy robot
- Strona jest pobierana z identyfikatorem każdego robota. Tabela pokazuje status HTTP, ewentualne zabezpieczenie wymagające dodatkowej weryfikacji oraz wysłany identyfikator. Google-Extended i Applebot-Extended to tokeny sterujące, dla których nie wysyła się osobnych żądań. Googlebot i Bingbot są sprawdzane tylko w robots.txt.
- Żądanie kontrolne
- Strona jest również pobierana jako zwykła przeglądarka. Jeśli także to żądanie zostanie odrzucone, żądania wysłane jako roboty nie mówią nic o ograniczeniach dotyczących konkretnie robotów. Wtedy oceniamy tylko robots.txt.
- Ograniczenie
- Żądania wysyłamy z naszego adresu. Zapora sprawdzająca opublikowane adresy IP robota może odrzucić nasze żądanie, a wpuścić prawdziwego robota. Dlatego Googlebot i Bingbot oceniamy tylko na podstawie robots.txt.
Każdy robot z tabeli ma osobną stronę na liście robotów AI.
Utwórz pełny plik robots.txt dla AI · Sprawdź długość tytułu i opisu
Pytania o roboty AI
Zobacz, co asystenci mówią o twojej firmie
Bezpłatny skan czyta twoją stronę, sprawdza dostęp tych samych robotów i zadaje asystentom pytania, które zadają twoi klienci.