Verktøy for å sjekke KI-crawlere
Bruk dette verktøyet til å sjekke robots.txt-regler, indekseringssignaler og HTTP-svar for KI-crawlere. Undersøk blokkert tilgang før du endrer reglene på nettstedet ditt.
Gratis, uten konto eller e-post. Sjekken tar noen sekunder.
Dette gratis verktøyet leser robots.txt, sjekker meta robots- og X-Robots-Tag-signaler og sender forespørsler med KI-crawlernes brukeragenter. Hver rad viser regelen som gjelder, og HTTP-svaret. Resultatene «tillatt», «blokkert» og «uklart» beskriver det vi observerte fra serveren vår. De kan ikke bevise at en ekte crawler får samme svar.
Slik fungerer sjekken
- robots.txt
- Nettstedets robots.txt leses én gang, og reglene for hver crawler brukes på siden slik RFC 9309 beskriver: Gruppen som navngir crawleren, gjelder fremfor gruppen for alle crawlere.
- Forespørsel med hver crawlers brukeragent
- Siden hentes med brukeragenten til hver crawler. Tabellen viser HTTP-statusen, eventuelle verifiseringskrav og brukeragentstrengen som ble sendt. Google-Extended og Applebot-Extended er kontrolltokener uten egen forespørsel. Googlebot og Bingbot sjekkes bare i robots.txt.
- Kontrollforespørsel
- Siden hentes også som en vanlig nettleser. Hvis denne forespørselen også avvises, sier ikke crawlerforespørslene noe om crawlere spesielt, og bare robots.txt vurderes.
- Begrensningen
- Forespørslene våre kommer fra vår adresse. En brannmur som sjekker crawleres publiserte IP-adresser, kan avvise forespørselen vår, men slippe inn den ekte crawleren. Derfor vurderes Googlebot og Bingbot bare ut fra robots.txt.
Hver robot i tabellen har sin egen side i listen over KI-roboter.
Lag en komplett robots.txt for KI-roboter · Sjekk lengden på tittel og beskrivelse
Spørsmål om KI-crawlere
Se hva assistentene sier om deg
Gratisskanningen leser nettstedet ditt, sjekker de samme crawlerne og stiller assistentene spørsmålene kundene dine stiller.