Tjek af AI-crawlere
Gennemgå robots.txt-regler, indekseringssignaler og HTTP-svar med dette værktøj til tjek af AI-crawlere. Undersøg blokeret adgang, før du ændrer reglerne for dit website.
Gratis, uden konto eller e-mail. Tjekket tager flere sekunder.
Dette gratis værktøj til tjek af AI-crawleres adgang læser robots.txt, kontrollerer meta robots og X-Robots-Tag-signaler og sender forespørgsler med AI-crawleres user agents. Hver række viser den regel, der matcher, og HTTP-svaret. Resultaterne tilladt, blokeret og uklart beskriver, hvad vi observerede fra vores server. De kan ikke bevise, at en rigtig crawler får samme svar.
Sådan fungerer tjekket
- robots.txt
- Websitets robots.txt læses én gang, og reglerne for hver crawler anvendes på siden som beskrevet i RFC 9309: En gruppe, der nævner crawleren ved navn, har forrang frem for gruppen for alle crawlere.
- Forespørgsel som hver crawler
- Siden hentes med hver crawlers user agent. Tabellen viser HTTP-status, eventuelle kontroludfordringer og den sendte user agent-streng. Google-Extended og Applebot-Extended er kontroltokens og sender ikke særskilte forespørgsler. Googlebot og Bingbot kontrolleres kun i robots.txt.
- Kontrolforespørgsel
- Siden hentes også som en almindelig browser. Hvis den forespørgsel også afvises, siger crawlerforespørgslerne intet om crawlere specifikt, og vurderingen bygger kun på robots.txt.
- Begrænsningen
- Vores forespørgsler sendes fra vores adresse. En firewall, der kontrollerer en crawlers offentliggjorte IP-adresser, kan afvise vores forespørgsel og stadig give den rigtige crawler adgang. Derfor vurderes Googlebot og Bingbot kun ud fra robots.txt.
Hver crawler i tabellen har sin egen side på listen over AI-crawlere.
Opret en komplet AI-robots.txt · Tjek længden på titel og beskrivelse
Spørgsmål om AI-crawlere
Se, hvad assistenterne siger om dig
Den gratis scanning læser dit website, tjekker de samme crawlere og stiller assistenterne de spørgsmål, dine købere stiller.