Verktøy for å sjekke KI-crawlere

Bruk dette verktøyet til å sjekke robots.txt-regler, indekseringssignaler og HTTP-svar for KI-crawlere. Undersøk blokkert tilgang før du endrer reglene på nettstedet ditt.

Gratis, uten konto eller e-post. Sjekken tar noen sekunder.

En hjemmeside eller en hvilken som helst annen side. Bare den siden sjekkes.

Dette gratis verktøyet leser robots.txt, sjekker meta robots- og X-Robots-Tag-signaler og sender forespørsler med KI-crawlernes brukeragenter. Hver rad viser regelen som gjelder, og HTTP-svaret. Resultatene «tillatt», «blokkert» og «uklart» beskriver det vi observerte fra serveren vår. De kan ikke bevise at en ekte crawler får samme svar.

Slik fungerer sjekken

robots.txt
Nettstedets robots.txt leses én gang, og reglene for hver crawler brukes på siden slik RFC 9309 beskriver: Gruppen som navngir crawleren, gjelder fremfor gruppen for alle crawlere.
Forespørsel med hver crawlers brukeragent
Siden hentes med brukeragenten til hver crawler. Tabellen viser HTTP-statusen, eventuelle verifiseringskrav og brukeragentstrengen som ble sendt. Google-Extended og Applebot-Extended er kontrolltokener uten egen forespørsel. Googlebot og Bingbot sjekkes bare i robots.txt.
Kontrollforespørsel
Siden hentes også som en vanlig nettleser. Hvis denne forespørselen også avvises, sier ikke crawlerforespørslene noe om crawlere spesielt, og bare robots.txt vurderes.
Begrensningen
Forespørslene våre kommer fra vår adresse. En brannmur som sjekker crawleres publiserte IP-adresser, kan avvise forespørselen vår, men slippe inn den ekte crawleren. Derfor vurderes Googlebot og Bingbot bare ut fra robots.txt.

Hver robot i tabellen har sin egen side i listen over KI-roboter.

Lag en komplett robots.txt for KI-roboter · Sjekk lengden på tittel og beskrivelse

Spørsmål om KI-crawlere

Skriv inn domenet ditt eller en fullstendig sideadresse, og velg «Sjekk siden». Se statusen for hver crawler, undersøk hvilken robots.txt-linje som gjelder og HTTP-svaret, rett opp uønskede begrensninger og sjekk igjen. Bare siden du oppgir, testes. Resultatene kan være hurtiglagret i ti minutter.

Noindex ber søkemotorer om å utelate en side fra indeksen. Noai og noimageai uttrykker ønsker om bruk, men støtten varierer mellom operatørene. Ingen av disse taggene hindrer en HTTP-forespørsel. Verktøyet viser signalene vi fant, atskilt fra robots.txt og brannmursvar.

Søkecrawlere som OAI-SearchBot indekserer innhold som kan brukes i svar. Andre crawlere henter sider når noen spør. Treningscrawlere samler inn innhold til utvikling av modeller. Du kan velge egne regler for trening. Google-Extended styrer også Gemini grounding, og enkelte crawlere som henter sider på brukerforespørsel, kan ignorere robots.txt.

Et CDN, en brannmur eller en tjeneste for robotbeskyttelse kan avvise forespørsler basert på brukeragenten før robots.txt i det hele tatt leses. Noen har en egen innstilling for KI-crawlere. Nettstedet åpnes fortsatt i en nettleser, så blokkeringen kan gå upåaktet hen.

Nei. llms.txt er et foreslått filformat som lister opp hovedsidene på et nettsted for språkmodeller. Crawlerne i denne sjekken trenger tilgang via robots.txt og må få siden levert av serveren. En llms.txt-fil endrer ingen av delene.

Nei. Det betyr bare at assistentene kan lese siden. Om en bedrift blir nevnt, avhenger av hva siden og andre nettsteder sier om den.

Se hva assistentene sier om deg

Gratisskanningen leser nettstedet ditt, sjekker de samme crawlerne og stiller assistentene spørsmålene kundene dine stiller.