Robots.txt-generator

Brug denne robots.txt-generator til at skrive filen til hele dit website. Tag udgangspunkt i standardindstillingerne for WordPress, Shopify, Wix eller Squarespace, og test derefter stier mod resultatet.

Gratis, ingen konto. Filen oprettes i din browser, og intet sendes afsted.

Start med

Alle crawlere kan anmode om alle stier. Angiv nedenfor de stier, de ikke skal have adgang til.

Valgfrit. Bruges til sitemaplinjerne og linket til robots.txt-testeren.

Gruppe 1

* gælder for alle crawlere uden en særskilt gruppe. Andre eksempler: Googlebot, Bingbot.

Stier, der skal udelukkes, én pr. linje, for eksempel /admin/ eller /*?sort=.

Undtagelser inden for en udelukket sti, én pr. linje.

Valgfrit. Google ignorerer den. Bing bruger 1 til 30 sekunder.

Fulde adresser. Sitemaplinjer gælder for alle crawlere.

Din robots.txt

Parseren læser filen som 1 gruppe, 0 regler, 0 sitemaplinjer og 64 byte.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Test en sti

Tilladt Googlebot har ingen særskilt gruppe og følger *-gruppen. Ingen regel matcher denne sti, så den er tilladt.

En robots.txt-fil ligger i roden af et website og fortæller crawlere, hvilke stier de må hente. Generatoren skriver grupper af user agents, Allow- og Disallow-regler samt sitemap-linjer. Derefter læser den filen med den RFC 9309-parser, som vores robots.txt-tester bruger, så du kan teste en sti, før du uploader filen.

Sådan fungerer det

Grupper og regler
Hver gruppe angiver én eller flere user agents, de stier, de ikke må hente (Disallow), og undtagelserne (Allow). En sti begynder med / eller *, og $ markerer slutningen af en URL. En crawler følger den gruppe, der nævner den, og bruger *-gruppen, hvis ingen gør.
Platformenes standardfiler
WordPress-forudindstillingen svarer til den fil, WordPress selv skriver. Forudindstillingerne for Shopify, Wix og Squarespace er kopier af de standardfiler, som websites på platformene leverede i oktober 2026. På Shopify redigerer du via temaets robots.txt.liquid-skabelon, og Wix har en robots.txt-editor i sine SEO-indstillinger. Squarespace beskriver ingen måde at uploade sin egen fil på, så den forudindstilling er kun til reference.
Crawl delay
Google ignorerer Crawl-delay. Bing læser den som et tidsinterval på 1 til 30 sekunder. Generatoren tager hele sekunder fra 1 til 30 og skriver kun linjen i de grupper, hvor du angiver en værdi.
Tjekket, før du kopierer
Den færdige fil læses med den RFC 9309-parser, som vores robots.txt-tester bruger. Hvis en linje bliver læst anderledes end tilsigtet, eller filen overskrider Googles grænse på 500 KiB, får du besked. Stitesten viser, hvilken linje der afgør adgangen for en bestemt crawler.

Spørgsmål om robots.txt

Nej. Den stopper crawling, men Google kan stadig indeksere en blokeret URL uden dens indhold, hvis andre sider linker til den. Hvis siden ikke skal vises i søgeresultaterne, skal du tillade crawling og tilføje et noindex-robots-metatag eller en X-Robots-Tag-header.

I roden af hosten, for eksempel https://example.com/robots.txt. Hvert subdomæne og hver protokol skal have sin egen fil. En fil i en mappe bliver ignoreret. På Shopify, Wix og Squarespace leverer platformen filen, så ændringer foretages via indstillingerne eller temaet.

En gruppe skal have mindst én regellinje. En tom Disallow tillader alt og forhindrer samtidig, at den næste gruppes user agents bliver knyttet til denne gruppe.

Google og RFC 9309 vælger den mest specifikke regel, altså den med den længste sti. Hvis en Allow- og en Disallow-regel er lige lange, vinder Allow. Stitesten viser den afgørende linje.

Tilføj en gruppe for hver crawler, eller brug AI robots.txt-generatoren, som viser AI-crawlere efter formål og skriver linjerne til dem. Tilføj linjerne under dine eksisterende grupper.

Relaterede værktøjer

  • robots.txt-tester

    Test op til 50 stier med robots.txt-testeren. Sammenlign regler for søgemaskinecrawlere og AI-crawlere, tjek blokerede ressourcer og sitemaps, og rediger og test derefter et udkast igen.

  • AI robots.txt-generator

    Vælg, hvilke AI-crawlere der må læse dit website. Tilpas en skabelon, og download AI-reglerne, så du kan føje dem til din eksisterende robots.txt-fil.

  • SEO-tjek

    Brug dette SEO-tjek til at gennemgå op til 25 sider for problemer med crawling og sidernes SEO. Se berørte URL'er og en liste over rettelser, eller tilføj et lille udvalg af sider fra en konkurrent.

Tjek din virksomhed i AI-svar

Sider, som crawlere kan læse og følge, er grundlaget. Den gratis AI-synlighedsscanning viser, hvordan assistenter svarer på spørgsmål om din virksomhed, og hvad du bør arbejde videre med.

Start den gratis AI-synlighedsscanning