Generator för robots.txt

Skapa en robots.txt-fil för hela webbplatsen. Börja med standardinställningarna för WordPress, Shopify, Wix eller Squarespace och testa sedan valfri sökväg mot filen.

Gratis, inget konto behövs. Filen skapas i din webbläsare och ingenting skickas iväg.

Utgå från

Alla sökrobotar kan begära varje sökväg. Ange nedan vilka sökvägar de inte ska få besöka.

Valfritt. Används för raderna med webbplatskartor och länken till robots.txt-testet.

Grupp 1

* står för alla sökrobotar som saknar en egen grupp. Andra exempel: Googlebot, Bingbot.

Sökvägar som ska blockeras, en per rad, till exempel /admin/ eller /*?sort=.

Undantag inom en blockerad sökväg, ett per rad.

Valfritt. Google ignorerar det. Bing läser värden från 1 till 30 sekunder.

Fullständiga adresser. Rader med webbplatskartor gäller alla sökrobotar.

Din robots.txt

När filen läses tillbaka av parsern innehåller den 1 grupp, 0 regler, 0 rader med webbplatskartor och 64 byte.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Testa en sökväg

Tillåten Googlebot saknar en egen grupp och följer *-gruppen. Ingen regel matchar den här sökvägen, så den är tillåten.

En robots.txt-fil ligger i webbplatsens rotkatalog och talar om för sökrobotar vilka sökvägar de får begära. Generatorn skriver grupper för användaragenter, regler för Allow och Disallow samt rader för webbplatskartor. Därefter läser den tillbaka filen med samma RFC 9309-parser som vår robots.txt-testare använder, så att du kan testa en sökväg innan du laddar upp filen.

Så fungerar det

Grupper och regler
Varje grupp anger en eller flera användaragenter, vilka sökvägar de inte får begära (Disallow) och undantagen (Allow). En sökväg börjar med / eller *, och $ markerar slutet på en URL. En sökrobot följer gruppen där den anges och använder *-gruppen om ingen sådan finns.
Plattformarnas standardfiler
WordPress-förvalet motsvarar filen som WordPress själv skriver. Förvalen för Shopify, Wix och Squarespace kopierar de standardfiler som webbplatser på respektive plattform levererade i oktober 2026. I Shopify görs ändringar via temamallen robots.txt.liquid, och Wix har en robots.txt-redigerare i sina SEO-inställningar. Squarespace beskriver inget sätt att ladda upp en egen fil, så det förvalet är bara till som referens.
Fördröjning mellan genomsökningar
Google ignorerar Crawl-delay. Bing tolkar det som ett tidsintervall på 1 till 30 sekunder. Generatorn tar emot heltal från 1 till 30 och skriver bara raden i de grupper där du anger den.
Kontrolleras innan du kopierar
Den färdiga filen läses tillbaka med den RFC 9309-parser som vår robots.txt-testare använder. Om en rad skulle tolkas annorlunda än avsett, eller om filen överskrider Googles gräns på 500 KiB, får du veta det. Sökvägstestet visar vilken rad som avgör för en viss sökrobot.

Frågor om robots.txt

Nej. Filen stoppar genomsökning, men Google kan ändå indexera en blockerad URL utan sidans innehåll om andra sidor länkar till den. Vill du hålla sidan borta från sökresultat måste du tillåta genomsökning och lägga till en robots-metatagg med noindex eller en X-Robots-Tag-header.

I värdnamnets rotkatalog, till exempel https://example.com/robots.txt. Varje underdomän och varje protokoll behöver en egen fil. En fil i en mapp ignoreras. På Shopify, Wix och Squarespace levererar plattformen filen, så ändringar görs via inställningarna eller temat.

En grupp behöver minst en regelrad. En tom Disallow-rad tillåter allt och hindrar nästa grupps användaragenter från att räknas till samma grupp.

Google och RFC 9309 väljer den mest specifika regeln, alltså den med längst sökväg. Om en Allow-regel och en Disallow-regel är lika långa gäller Allow. Sökvägstestet visar vilken rad som avgör.

Lägg till en grupp för varje sökrobot, eller använd generatorn för AI robots.txt. Den listar AI-sökrobotar efter syfte och skriver deras rader. Lägg till raderna under dina befintliga grupper.

Relaterade verktyg

  • Testa robots.txt

    Testa upp till 50 sökvägar mot robots.txt. Jämför regler för sökrobotar och AI-robotar, kontrollera blockerade resurser och webbplatskartor och redigera och testa sedan ett utkast på nytt.

  • AI-generator för robots.txt

    Använd den här AI-generatorn för robots.txt för att välja vilka AI-crawlers som får läsa din webbplats. Anpassa en förinställning och ladda ned AI-reglerna för att lägga till dem i din befintliga fil.

  • SEO-kontroll

    Granska upp till 25 sidor med den här SEO-kontrollen för att hitta problem med genomsökning och sidinnehåll. Se berörda URL:er och en lista över åtgärder, eller lägg till ett litet urval av en konkurrents sidor.

Se hur ditt företag beskrivs i AI-svar

Sidor som sökrobotar kan läsa och följa är grunden. Den kostnadsfria AI-synlighetsskanningen visar hur assistenter svarar på frågor om ditt företag och vad du bör arbeta med härnäst.

Gör en kostnadsfri AI-synlighetsskanning