Testa robots.txt

Testa upp till 50 sökvägar mot robots.txt. Jämför regler för sökrobotar och AI-robotar, kontrollera blockerade resurser och webbplatskartor och redigera och testa sedan ett utkast på nytt.

Gratis, inget konto krävs. Tio webbplatskontroller per timme.

robots.txt att testa

Vår server läser /robots.txt på den här värden. Filen kan sparas i cache i fem minuter.

En sökväg eller en fullständig adress. Lämna tomt för att testa adressen ovan.

Upp till 50 sökvägar. Om du fyller i dem ersätter de den enskilda sökvägen ovan. Fullständiga URL:er måste tillhöra samma webbplats som den publicerade filen.

Ett robots.txt-test visar om en sökrobot får hämta en webbadress enligt webbplatsens robots.txt-regler. Det här testet läser den publicerade filen eller ett inklistrat utkast och matchar reglerna enligt RFC 9309 och Googles anvisningar: gruppen för den aktuella roboten gäller, den längsta matchande regeln vinner och Allow vinner vid lika längd. Du ser vilken rad som avgör.

Så använder du det här kontrollverktyget

Läs den publicerade filen eller klistra in ett utkast
Ange en webbplats för att läsa dess publicerade /robots.txt, eller klistra in ett utkast för att testa det före publicering. Ett inklistrat utkast skickas bara till vår server för regelmatchningen. Inget hämtas för utkastet.
Välj sökväg och robot
Ange en sökväg eller upp till 50 sökvägar, en per rad. Jämför Googlebot, Bingbot och alla angivna AI-robotar i samma matris. Namngivna grupper slås ihop. Om ingen sådan grupp finns gäller jokerteckenreglerna. Fullständiga webbadresser måste tillhöra webbplatsen för den publicerade filen.
Se vilken regel som avgör
Det längsta matchande mönstret vinner och Allow vinner vid lika längd. Jokertecken och slutankare följer Googles matchningsregler. De första 500 KiB läses. En 4xx-status utom 429 tillåter genomsökning. Vid serverfel gäller Disallow för allt, utan antaganden om en tidigare cachad fil.

Frågor om det här kontrollverktyget

Ett 404-svar eller en annan 4xx-status betyder att det inte finns några regler, så alla robotar får hämta allt. Ett 5xx-svar, en timeout eller en sida som kontrollerar om besökaren är en robot är något annat: enligt RFC 9309 ska robotar behandla hela webbplatsen som blockerad tills filen går att läsa.

Nej. Disallow stoppar genomsökning, men en blockerad sida kan ändå indexeras via länkar till den, utan beskrivning. Om du vill hålla en sida borta från sökresultaten ska du tillåta genomsökning och lägga till en noindex-metatagg eller en X-Robots-Tag-header.

De stora aktörerna säger att de gör det. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot och Google-Extended har var sitt publicerat token. Robots.txt begränsar bara robotar som väljer att följa filen, så använd även brandväggsregler om du behöver blockera dem helt.

Google stöder inte Crawl-delay. Bing och vissa andra sökrobotar läser den. Testet markerar raden så att du ser att den inte påverkar Googlebot.

Relaterade verktyg

  • AI-generator för robots.txt

    Använd den här AI-generatorn för robots.txt för att välja vilka AI-crawlers som får läsa din webbplats. Anpassa en förinställning och ladda ned AI-reglerna för att lägga till dem i din befintliga fil.

  • Generator för robots.txt

    Skapa en robots.txt-fil för hela webbplatsen. Börja med standardinställningarna för WordPress, Shopify, Wix eller Squarespace och testa sedan valfri sökväg mot filen.

  • Kontrollera AI Overviews

    Använd verktyget för att granska Googlebots åtkomst till en sida samt inställningar för indexering och sökutdrag. Läs resultaten innan du ändrar åtkomstinställningarna.

Se om AI nämner ditt företag i sina svar

Tekniska kontroller hjälper dig att rätta till en sida. Den kostnadsfria AI-synlighetsskanningen visar vilka svar som har kontrollerats för ditt företag och vad du kan arbeta vidare med.

Gör en gratis AI-synlighetsskanning