Tester for robots.txt

Test opptil 50 stier med testeren for robots.txt. Sammenlign regler for søke- og KI-roboter, sjekk blokkerte ressurser og nettstedskart, og rediger og test et utkast på nytt.

Gratis, ingen konto. Ti nettstedskontroller i timen.

robots.txt som skal testes

Serveren vår leser /robots.txt på denne verten. Filen kan bli hurtigbufret i fem minutter.

En bane eller en fullstendig adresse. Lar du feltet stå tomt, brukes adressen ovenfor.

Opptil 50 filbaner. Hvis du fyller ut dette feltet, erstatter de den ene filbanen over. Fullstendige URL-er må høre til nettstedet der den aktive filen ligger.

En tester for robots.txt viser om en søkerobot har lov til å hente en URL etter nettstedets robots.txt-regler. Denne leser filen på nettstedet eller et utkast du limer inn, og tolker reglene slik RFC 9309 og Google beskriver: Gruppen for søkeroboten gjelder, den lengste regelen som passer, vinner, og Allow vinner ved lik lengde. Du får se linjen som avgjør.

Slik bruker du dette sjekkverktøyet

Les filen på nettstedet eller lim inn et utkast
Skriv inn et nettsted for å lese /robots.txt derfra, eller lim inn et utkast for å teste det før publisering. Et utkast du limer inn, sendes bare til serveren vår for å teste reglene. Vi henter ikke noe for det.
Velg sti og søkerobot
Skriv inn én sti eller opptil 50 stier, én per linje. Sammenlign Googlebot, Bingbot og alle oppførte KI-tokener i én matrise. Navngitte grupper slås sammen. Finnes ingen slike grupper, brukes jokertegnreglene. Hele URL-er må tilhøre nettstedet der filen leses.
Se hvilken regel som avgjør
Det lengste mønsteret som passer, vinner, og Allow vinner ved lik lengde. Jokertegn og sluttankere følger Googles regler for matching. De første 500 KiB leses. En 4xx-respons, bortsett fra 429, tillater gjennomsøking. Ved serverfeil blokkeres all gjennomsøking uten at vi antar at en tidligere fil ligger i hurtigbufferen.

Spørsmål om dette sjekkverktøyet

En 404 eller en annen 4xx-respons betyr at det ikke finnes regler, så alle søkeroboter kan hente alt. En 5xx-respons, et tidsavbrudd eller en side som sjekker om besøkende er roboter, er noe annet: RFC 9309 sier at søkeroboter skal behandle hele nettstedet som blokkert til filen kan leses.

Nei. Disallow stopper gjennomsøking, men en blokkert side kan likevel indekseres via lenker til den, uten beskrivelse. Hvis du vil holde en side ute av søkeresultatene, må du tillate gjennomsøking og legge til en noindex-metatag eller en X-Robots-Tag-header.

De største aktørene sier at de gjør det, og GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended har hver sitt publiserte token. Robots.txt gjelder bare for roboter som velger å følge reglene. Bruk derfor også brannmurregler hvis du trenger en sikker blokkering.

Google støtter ikke Crawl-delay. Bing og enkelte andre søkeroboter leser den. Testeren markerer linjen, så du vet at den ikke har noen virkning for Googlebot.

Relaterte verktøy

  • robots.txt-generator for KI-crawlere

    Bruk denne robots.txt-generatoren til å velge hvilke KI-crawlere som kan lese nettstedet ditt. Tilpass et forhåndsvalg og last ned KI-reglene for å legge dem til i den eksisterende filen.

  • Generator for robots.txt

    Bruk denne robots.txt-generatoren til å lage filen for hele nettstedet ditt. Start med standardfilen for WordPress, Shopify, Wix eller Squarespace, og test deretter en hvilken som helst sti mot resultatet.

  • Sjekk for AI Overviews

    Bruk denne sjekken for AI Overviews til å undersøke om Googlebot har tilgang til siden, og hvilke innstillinger som gjelder for indeksering og tekstutdrag. Les resultatene før du endrer tilgangsinnstillingene.

Sjekk om bedriften din nevnes i KI-svar

Tekniske kontroller hjelper deg å rette feil på en side. Den gratis skanningen av KI-synlighet viser hvilke svar som er sjekket for bedriften din, og hva du bør jobbe med videre.

Kjør en gratis skanning av KI-synlighet