Kan AI-assistenter läsa din webbplats?
Ange adressen till en sida. Kontrollen läser sidans robots.txt och begär sidan som var och en av AI-crawlerna. Sedan ser du vilka som kan läsa den och vilka som nekas åtkomst.
Gratis, utan konto eller e-postadress. Kontrollen tar flera sekunder.
Kontrollen av AI-crawlers läser en sidas robots.txt och begär sidan en gång som var och en av AI-crawlerna, till exempel OAI-SearchBot, ChatGPT-User, PerplexityBot och Claude-User. Den visar vilka crawlers som får läsa sidan och vilka som stoppas av en brandvägg eller ett CDN. Kontrollen är gratis, kräver inget konto och tar några sekunder.
Så fungerar kontrollen
- robots.txt
- Webbplatsens robots.txt läses en gång. Reglerna för varje crawler tillämpas på sidan enligt RFC 9309: en grupp som namnger en viss crawler gäller framför gruppen för alla crawlers.
- En begäran som varje crawler
- Sidan begärs en gång med varje crawlers publicerade user agent. Om sidan levereras räknas den som läsbar. Om begäran nekas eller en verifieringssida visas räknas crawlern som stoppad.
- Kontrollbegäran
- Sidan begärs också som en vanlig webbläsare. Om även den begäran nekas säger crawlerbegärandena inget om åtkomsten för just crawlers. Då bedöms bara robots.txt.
- Begränsningen
- Våra begäranden kommer från vår adress. En brandvägg som kontrollerar en crawlers publicerade IP-adresser kan neka vår begäran men ändå släppa igenom den riktiga crawlern. Därför bedöms Googlebot och Bingbot enbart utifrån robots.txt.
Varje crawlare i tabellen har en egen sida i listan över AI-crawlare.
Frågor om AI-sökrobotar
Se vad assistenterna säger om dig
Den kostnadsfria skanningen läser din webbplats, kontrollerar samma crawlers och ställer dina kunders frågor till assistenterna.