AI robots.txt-generator
Vælg, hvilke AI-crawlere der må læse dit website. Tilpas en skabelon, og download AI-reglerne, så du kan føje dem til din eksisterende robots.txt-fil.
Gratis og uden tilmelding. Dine valg gemmes i sidens URL, så du kan dele dem.

Dine AI-regler i robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Indsæt disse regler i robots.txt i roden af dit website, og behold en eventuel eksisterende gruppe med User-agent: *.
Se, hvilke crawlere dit website giver adgang nu
Vi kan også indstille robots.txt, dine CDN-regler og dit sitemap for dig, som du vælger, og tjekke dem igen bagefter. Se opsætningen af AI-crawleradgang
Denne gratis AI robots.txt-generator skriver regler for crawlerne i AIGROWs oversigt over AI-crawlere. Som udgangspunkt tillader den søgecrawlere og crawlere, der åbner sider på brugerens anmodning, men blokerer træningscrawlere. Vælg en anden skabelon, eller ændr reglerne for hver enkelt crawler. Tilføj stier, der skal udelukkes, og kopiér eller download derefter reglerne til dit website.
Sådan fungerer det
- Vælg et udgangspunkt
- Standardindstillingen tillader søgecrawlere og crawlere, der åbner sider på brugerens anmodning, men blokerer træningscrawlere. Du kan tillade alle crawlere, blokere dem alle eller ændre reglerne for hver enkelt.
- Samme regler i én gruppe
- Crawlere med samme regler samles i en gruppe med flere User-agent-linjer. Navnene kommer fra oversigten over AI-crawlere. Googlebot og Bingbot er udeladt, fordi de også crawler for Google Search og Bing.
- Stierne gælder for alle grupper
- En crawler, der er nævnt i en gruppe, arver ikke reglerne fra gruppen User-agent: *, som beskrevet i RFC 9309. Ekstra Disallow-stier føjes derfor til alle AI-grupper. De crawlere, du tillader, har fortsat adgang til andre stier.
- Behold resten af din fil
- Generatoren skriver kun AI-grupperne. Behold din eksisterende User-agent: *-gruppe og andre poster, herunder links til sitemaps. Erstat gamle grupper, der nævner de samme crawlere, og overfør de stier, du fortsat vil udelukke.
Spørgsmål om AI-crawlere
Kan AI-assistenter læse siderne om din virksomhed?
Kør den gratis scanning for at tjekke adgangen og se, hvad assistenterne siger om din virksomhed.