Narzędzie do sprawdzania robotów AI

Sprawdź reguły robots.txt, sygnały dotyczące indeksowania i odpowiedzi HTTP. Zobacz, co blokuje dostęp robotom AI, zanim zmienisz reguły swojej strony.

Bezpłatnie, bez konta i bez podawania adresu e-mail. Sprawdzenie trwa kilka sekund.

Strona główna lub dowolna inna strona. Sprawdzana jest tylko ta jedna strona.

To bezpłatne narzędzie odczytuje robots.txt, sprawdza sygnały meta robots i X-Robots-Tag oraz wysyła żądania z identyfikatorami robotów AI. Każdy wiersz pokazuje pasującą regułę i odpowiedź HTTP. Wyniki „dostęp dozwolony”, „dostęp zablokowany” i „wynik niejednoznaczny” opisują to, co zaobserwowaliśmy z naszego serwera. Nie dowodzą, że prawdziwy robot otrzyma tę samą odpowiedź.

Jak działa to sprawdzenie

robots.txt
Plik robots.txt witryny jest odczytywany raz, a reguły każdego robota dla danej strony są stosowane zgodnie z RFC 9309: grupa wymieniająca robota ma pierwszeństwo przed grupą dla wszystkich robotów.
Żądanie jako każdy robot
Strona jest pobierana z identyfikatorem każdego robota. Tabela pokazuje status HTTP, ewentualne zabezpieczenie wymagające dodatkowej weryfikacji oraz wysłany identyfikator. Google-Extended i Applebot-Extended to tokeny sterujące, dla których nie wysyła się osobnych żądań. Googlebot i Bingbot są sprawdzane tylko w robots.txt.
Żądanie kontrolne
Strona jest również pobierana jako zwykła przeglądarka. Jeśli także to żądanie zostanie odrzucone, żądania wysłane jako roboty nie mówią nic o ograniczeniach dotyczących konkretnie robotów. Wtedy oceniamy tylko robots.txt.
Ograniczenie
Żądania wysyłamy z naszego adresu. Zapora sprawdzająca opublikowane adresy IP robota może odrzucić nasze żądanie, a wpuścić prawdziwego robota. Dlatego Googlebot i Bingbot oceniamy tylko na podstawie robots.txt.

Każdy robot z tabeli ma osobną stronę na liście robotów AI.

Utwórz pełny plik robots.txt dla AI · Sprawdź długość tytułu i opisu

Pytania o roboty AI

Wpisz domenę lub pełny adres strony i wybierz „Sprawdź stronę”. Sprawdź status każdego robota, pasujący wiersz pliku robots.txt i odpowiedź HTTP. Następnie usuń niechciane ograniczenia i sprawdź stronę ponownie. Testowana jest tylko podana strona. Wyniki mogą być przechowywane w pamięci podręcznej przez dziesięć minut.

Noindex prosi wyszukiwarki o pominięcie strony w indeksie. Noai i noimageai wyrażają preferencje dotyczące wykorzystania treści, ale operatorzy robotów respektują je w różnym stopniu. Żaden z tych tagów nie zapobiega żądaniu HTTP. Narzędzie pokazuje zaobserwowane sygnały oddzielnie od reguł robots.txt i odpowiedzi zapory.

Roboty wyszukiwarek, takie jak OAI-SearchBot, indeksują treści na potrzeby odpowiedzi. Roboty działające na żądanie pobierają strony, gdy ktoś o nie poprosi. Roboty zbierające dane do trenowania gromadzą treści na potrzeby rozwoju modeli. Preferencje dotyczące trenowania możesz ustawić osobno. Google-Extended kontroluje też wykorzystanie treści przez Gemini przy tworzeniu odpowiedzi, a niektóre narzędzia pobierające strony na żądanie użytkownika mogą ignorować robots.txt.

CDN, zapora lub usługa ochrony przed botami może odrzucić żądanie na podstawie identyfikatora robota, zanim robots.txt zostanie odczytany. Niektóre z tych usług mają osobne ustawienie dla robotów AI. Strona nadal otwiera się w przeglądarce, więc blokada może pozostać niezauważona.

Nie. llms.txt to proponowany plik z listą głównych stron witryny przeznaczoną dla modeli językowych. Roboty objęte tym testem potrzebują dostępu dozwolonego przez robots.txt i odpowiedzi serwera zawierającej stronę. Plik llms.txt nie zmienia żadnej z tych rzeczy.

Nie. Zezwolenie na dostęp oznacza tylko, że asystenci mogą przeczytać stronę. To, czy wymienią firmę, zależy od informacji na tej stronie i w innych witrynach.

Zobacz, co asystenci mówią o twojej firmie

Bezpłatny skan czyta twoją stronę, sprawdza dostęp tych samych robotów i zadaje asystentom pytania, które zadają twoi klienci.