Kan AI-assistenter læse dit website?
Indtast adressen på en side. Tjekket læser sidens robots.txt og anmoder om siden som hver enkelt AI-crawler. Derefter kan du se, hvilke crawlere der kan læse den, og hvilke der bliver afvist.
Gratis, uden konto eller e-mail. Tjekket tager flere sekunder.
Tjekket af AI-crawlere læser sidens robots.txt og anmoder om siden én gang som hver AI-crawler, blandt andet OAI-SearchBot, ChatGPT-User, PerplexityBot og Claude-User. Det viser, hvilke crawlere der må læse siden, og hvilke der bliver afvist af en firewall eller et CDN. Tjekket er gratis, kræver ingen konto og tager nogle sekunder.
Sådan fungerer tjekket
- robots.txt
- Websitets robots.txt læses én gang, og reglerne for hver crawler anvendes på siden som beskrevet i RFC 9309: Gruppen, der nævner crawleren ved navn, har forrang frem for gruppen for alle crawlere.
- En forespørgsel som hver crawler
- Der anmodes om siden én gang med hver crawlers offentliggjorte user agent. Hvis siden leveres, tæller den som læsbar. Et afslag eller en kontrolside tæller som en afvisning.
- Kontrolforespørgsel
- Der anmodes også om siden som en almindelig browser. Hvis den forespørgsel også afvises, siger crawlerforespørgslerne ikke noget om crawlerne specifikt, og vurderingen bygger kun på robots.txt.
- Begrænsningen
- Vores forespørgsler kommer fra vores egen IP-adresse. En firewall, der tjekker en crawlers offentliggjorte IP-adresser, kan afvise vores forespørgsel og stadig give den rigtige crawler adgang. Derfor vurderes Googlebot og Bingbot kun ud fra robots.txt.
Hver crawler i tabellen har sin egen side på listen over AI-crawlere.
Spørgsmål om AI-crawlere
Se, hvad assistenterne siger om dig
Den gratis scanning læser dit website, tjekker de samme crawlere og stiller assistenterne de spørgsmål, dine kunder stiller.