Tester robots.txt
Sprawdź do 50 ścieżek w testerze robots.txt. Porównaj reguły dla robotów wyszukiwarek i AI, znajdź zablokowane zasoby i mapy witryny, a potem edytuj wersję roboczą pliku i przetestuj ją ponownie.
Bezpłatnie, bez konta. 10 sprawdzeń witryny na godzinę.
Tester robots.txt pokazuje, czy robot może pobrać adres URL zgodnie z regułami w pliku robots.txt witryny. Odczytuje plik opublikowany w witrynie lub wklejoną wersję roboczą i dopasowuje reguły zgodnie z RFC 9309 oraz wytycznymi Google: stosuje grupę danego robota, wybiera najdłuższą pasującą regułę, a przy remisie pierwszeństwo ma Allow. Pokazuje też wiersz, który zdecydował o wyniku.
Jak korzystać z tego narzędzia
- Odczytaj opublikowany plik lub wklej wersję roboczą
- Podaj adres witryny, aby odczytać jej opublikowany plik /robots.txt, albo wklej wersję roboczą i sprawdź ją przed publikacją. Wklejony tekst trafia na nasz serwer wyłącznie w celu dopasowania reguł. Nie pobieramy dla niego żadnych danych.
- Wybierz ścieżkę i robota
- Podaj jedną ścieżkę albo maksymalnie 50, każdą w osobnym wierszu. Porównaj Googlebot, Bingbot i wszystkie wymienione identyfikatory robotów AI w jednej tabeli. Grupy nazwane są łączone, a jeśli żadna nie pasuje, obowiązują reguły z gwiazdką. Pełne adresy URL muszą należeć do witryny, z której pochodzi opublikowany plik.
- Sprawdź, która reguła zdecydowała o wyniku
- Wygrywa najdłuższy pasujący wzorzec, a przy remisie pierwszeństwo ma Allow. Symbole wieloznaczne i znaczniki końca adresu działają zgodnie z mechanizmem dopasowywania Google. Odczytywane jest pierwsze 500 KiB pliku. Odpowiedź 4xx, z wyjątkiem 429, zezwala na indeksowanie; przy błędach serwera wszystkie ścieżki są blokowane, bez zakładania, że istnieje wcześniej zapisany plik.
Pytania o to narzędzie
Sprawdź, czy asystenci AI wymieniają twoją firmę
Kontrole techniczne pomagają naprawić stronę. Bezpłatny skan widoczności AI pokazuje odpowiedzi sprawdzone dla twojej firmy i wskazuje, czym zająć się dalej.