robots.txt-tester

Test op til 50 stier med robots.txt-testeren. Sammenlign regler for søgemaskinecrawlere og AI-crawlere, tjek blokerede ressourcer og sitemaps, og rediger og test derefter et udkast igen.

Gratis, ingen konto. Ti websitekontroller i timen.

robots.txt, der skal testes

Vores server læser /robots.txt på denne vært. Filen kan være gemt i cache i fem minutter.

En sti eller en fuld adresse. Hvis feltet er tomt, bruges adressen ovenfor.

Højst 50 stier. Hvis du udfylder feltet, erstatter de den enkelte sti ovenfor. Fulde URL'er skal høre til websitet med den aktive fil.

En robots.txt-tester viser, om en crawler må hente en URL efter et websites robots.txt-regler. Denne tester læser den aktuelle fil eller et indsat udkast og matcher reglerne som beskrevet i RFC 9309 og af Google: Gruppen for crawleren gælder, den længste matchende regel vinder, og Allow vinder ved lighed. Du kan se den afgørende linje.

Sådan bruger du tjekværktøjet

Læs den aktuelle fil, eller indsæt et udkast
Angiv et website for at læse dets aktuelle /robots.txt, eller indsæt et udkast for at teste det inden udgivelse. Et indsat udkast sendes kun til vores server for at matche reglerne. Der hentes ikke andet i den forbindelse.
Vælg sti og crawler
Angiv én sti eller op til 50 stier, én pr. linje. Sammenlign Googlebot, Bingbot og alle de anførte AI-tokens i én oversigt. Navngivne grupper lægges sammen. Ellers gælder jokertegnsreglerne. Fuldstændige URL'er skal høre til det website, den aktuelle fil ligger på.
Se den afgørende regel
Det længste matchende mønster vinder, og Allow vinder ved lighed. Jokertegn og slutankre følger Googles matchningsregler. De første 500 KiB læses. En 4xx-fejl bortset fra 429 tillader crawling. Ved serverfejl blokeres al crawling, uden at der antages at findes en tidligere cachelagret fil.

Spørgsmål om tjekværktøjet

Et 404-svar eller et andet 4xx-svar betyder, at der ikke er nogen regler, så alle crawlere må hente alt. Et 5xx-svar, en timeout eller en botkontrolside er noget andet: Ifølge RFC 9309 skal crawlere behandle hele websitet som blokeret, indtil filen kan læses.

Nej. Disallow forhindrer crawling, men en blokeret side kan stadig blive indekseret via links til den, dog uden en beskrivelse. Hvis en side ikke skal vises i søgeresultater, skal du tillade crawling og tilføje et noindex-metatag eller en X-Robots-Tag-header.

De store udbydere siger, at de gør, og GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended har hver deres offentliggjorte token. Robots.txt gælder kun for crawlere, der vælger at følge reglerne. Brug også firewallregler, hvis du har brug for at blokere dem effektivt.

Google understøtter ikke Crawl-delay. Bing og nogle andre crawlere læser den. Testeren markerer linjen, så du ved, at den ikke ændrer noget for Googlebot.

Relaterede værktøjer

  • AI robots.txt-generator

    Vælg, hvilke AI-crawlere der må læse dit website. Tilpas en skabelon, og download AI-reglerne, så du kan føje dem til din eksisterende robots.txt-fil.

  • Robots.txt-generator

    Brug denne robots.txt-generator til at skrive filen til hele dit website. Tag udgangspunkt i standardindstillingerne for WordPress, Shopify, Wix eller Squarespace, og test derefter stier mod resultatet.

  • AI Overviews-tjek

    Brug dette AI Overviews-tjek til at gennemgå sidens adgang for Googlebot samt indstillinger for indeksering og uddrag. Læs resultaterne, før du ændrer adgangsindstillingerne.

Se, om din virksomhed nævnes i AI-svar

Tekniske tjek hjælper dig med at rette en side. Den gratis AI-synlighedsscanning viser de svar, vi har tjekket for din virksomhed, og hvad du bør arbejde videre med.

Kør den gratis AI-synlighedsscanning