Kontrollera AI-crawlers
Använd den här kontrollen av AI-crawlers för att granska robots.txt-regler, indexeringssignaler och HTTP-svar. Undersök blockerad åtkomst innan du ändrar webbplatsens regler.
Gratis, utan konto eller e-postadress. Kontrollen tar flera sekunder.
Den här kostnadsfria kontrollen av AI-crawlers åtkomst läser robots.txt, kontrollerar meta robots och X-Robots-Tag samt skickar förfrågningar med AI-crawlers user-agent-strängar. Varje rad visar den matchande regeln och HTTP-svaret. Resultaten tillåten, blockerad och oklart beskriver vad vi observerade från vår server. De kan inte bevisa att en verklig crawler får samma svar.
Så fungerar kontrollen
- robots.txt
- Webbplatsens robots.txt läses en gång och reglerna för varje crawler tillämpas på sidan enligt RFC 9309: gruppen som namnger crawlern gäller framför gruppen för alla crawlers.
- En förfrågan som varje crawler
- Sidan begärs med varje crawlers user-agent-sträng. Tabellen visar HTTP-status, eventuella kontrollsteg och den skickade strängen. Google-Extended och Applebot-Extended är kontrolltoken utan separata förfrågningar. Googlebot och Bingbot kontrolleras bara i robots.txt.
- Kontrollförfrågan
- Sidan begärs också som från en vanlig webbläsare. Om även den förfrågan nekas säger crawlerförfrågningarna inget om just crawlers, och bedömningen grundas enbart på robots.txt.
- Begränsningen
- Våra förfrågningar kommer från vår adress. En brandvägg som kontrollerar en crawlers publicerade IP-adresser kan neka vår förfrågan men ändå släppa in den verkliga crawlern. Därför bedöms Googlebot och Bingbot enbart utifrån robots.txt.
Varje crawlare i tabellen har en egen sida i listan över AI-crawlare.
Skapa en fullständig robots.txt för AI · Kontrollera längden på titeln och beskrivningen
Frågor om AI-sökrobotar
Se vad assistenterna säger om dig
Den kostnadsfria skanningen läser din webbplats, kontrollerar samma crawlers och ställer dina köpares frågor till assistenterna.