Generator for robots.txt

Bruk denne robots.txt-generatoren til å lage filen for hele nettstedet ditt. Start med standardfilen for WordPress, Shopify, Wix eller Squarespace, og test deretter en hvilken som helst sti mot resultatet.

Gratis, ingen konto nødvendig. Filen opprettes i nettleseren din, og ingenting sendes ut.

Start med

Alle søkeroboter kan be om alle banene. Legg til banene du vil stenge dem ute fra nedenfor.

Valgfritt. Brukes til sitemaplinjene og lenken til robots.txt-testeren.

Gruppe 1

* står for alle roboter uten egen gruppe. Andre eksempler: Googlebot, Bingbot.

Stier som skal blokkeres, én per linje, for eksempel /admin/ eller /*?sort=.

Unntak innenfor en blokkert sti, ett per linje.

Valgfritt. Google ignorerer dette. Bing leser verdier fra 1 til 30 sekunder.

Fullstendige adresser. Sitemaplinjene gjelder for alle roboter.

Din robots.txt

Når parseren leser filen tilbake, finner den 1 gruppe, 0 regler, 0 sitemaplinjer og 64 byte.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Test en sti

Tillatt Googlebot har ingen egen gruppe og følger *-gruppen. Ingen regel gjelder for denne stien, så den er tillatt.

En robots.txt-fil ligger i roten av et nettsted og forteller søkeroboter hvilke stier de kan hente. Denne generatoren skriver grupper med brukeragenter, Allow- og Disallow-regler og linjer for nettstedskart. Deretter leser den filen med RFC 9309-parseren som robots.txt-testeren vår bruker, slik at du kan teste en sti før du laster opp filen.

Slik fungerer det

Grupper og regler
Hver gruppe angir én eller flere brukeragenter, stiene de ikke kan hente (Disallow), og unntakene (Allow). En sti begynner med / eller *, og $ markerer slutten på en URL. En søkerobot følger gruppen der den er navngitt, og bruker *-gruppen hvis ingen gruppe navngir den.
Standardfiler for plattformer
WordPress-forvalget tilsvarer filen WordPress selv skriver. Forvalgene for Shopify, Wix og Squarespace kopierer standardfilene som nettsteder på disse plattformene leverte i oktober 2026. På Shopify gjøres endringer via temamalen robots.txt.liquid, mens Wix har et redigeringsverktøy for robots.txt i SEO-innstillingene. Squarespace beskriver ingen måte å laste opp en egen fil på, så forvalget er bare til orientering.
Forsinkelse mellom forespørsler
Google ignorerer Crawl-delay. Bing leser verdien som et tidsintervall på 1 til 30 sekunder. Generatoren tar hele sekunder fra 1 til 30 og skriver linjen bare i gruppene der du angir den.
Kontrollert før du kopierer
Den ferdige filen leses med RFC 9309-parseren som robots.txt-testeren vår bruker. Hvis en linje blir tolket annerledes enn tilsiktet, eller filen overskrider Googles grense på 500 KiB, får du beskjed. Stitesten viser hvilken linje som avgjør for en bestemt søkerobot.

Spørsmål om robots.txt

Nei. Filen hindrer gjennomsøking, men Google kan fortsatt indeksere en blokkert URL uten innholdet hvis andre sider lenker til den. Hvis siden ikke skal vises i søkeresultatene, må du tillate gjennomsøking og legge til en noindex-robotmetatag eller en X-Robots-Tag-header.

I roten av verten, for eksempel https://example.com/robots.txt. Hvert underdomene og hver protokoll trenger sin egen fil. En fil i en mappe blir ignorert. På Shopify, Wix og Squarespace er det plattformen som leverer filen, så endringer må gjøres i innstillingene eller temaet.

En gruppe må ha minst én regellinje. En tom Disallow tillater alt og hindrer at brukeragentene i neste gruppe blir regnet som del av denne.

Google og RFC 9309 velger den mest spesifikke regelen, altså den med lengst sti. Hvis en Allow- og en Disallow-regel er like lange, vinner Allow. Stitesten viser hvilken linje som avgjør.

Legg til en gruppe for hver søkerobot, eller bruk AI robots.txt-generatoren. Den viser KI-søkeroboter etter formål og skriver linjene for dem. Legg disse linjene under de eksisterende gruppene dine.

Relaterte verktøy

  • Tester for robots.txt

    Test opptil 50 stier med testeren for robots.txt. Sammenlign regler for søke- og KI-roboter, sjekk blokkerte ressurser og nettstedskart, og rediger og test et utkast på nytt.

  • robots.txt-generator for KI-crawlere

    Bruk denne robots.txt-generatoren til å velge hvilke KI-crawlere som kan lese nettstedet ditt. Tilpass et forhåndsvalg og last ned KI-reglene for å legge dem til i den eksisterende filen.

  • SEO-sjekk

    Bruk denne SEO-sjekken til å undersøke opptil 25 sider for problemer med gjennomsøking og innhold på siden. Se berørte URL-er og en liste over tiltak, eller legg til et lite utvalg sider fra en konkurrent.

Sjekk bedriften din i KI-svar

Sider som søkeroboter kan lese og følge, legger grunnlaget. Den gratis synlighetsskanningen for KI viser hvordan assistenter svarer på spørsmål om bedriften din, og hva du bør jobbe med videre.

Kjør den gratis synlighetsskanningen for KI