AI-generator för robots.txt
Använd den här AI-generatorn för robots.txt för att välja vilka AI-crawlers som får läsa din webbplats. Anpassa en förinställning och ladda ned AI-reglerna för att lägga till dem i din befintliga fil.
Gratis och utan registrering. Dina val sparas i sidans URL så att du kan dela dem.

Dina AI-regler för robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Lägg in de här reglerna i robots.txt i webbplatsens rotkatalog och behåll en eventuell befintlig grupp User-agent: *.
Kontrollera vilka sökrobotar din webbplats släpper in nu
Vi kan också ställa in robots.txt, dina CDN-regler och din sitemap åt dig, som du vill, och kontrollera dem igen efteråt. Se konfigurationen av AI-crawlers åtkomst
Den här kostnadsfria AI-generatorn för robots.txt skriver regler för crawlers i AIGROWs katalog. Som standard tillåter den sökcrawlers och crawlers som hämtar sidor på begäran, men blockerar träningscrawlers. Välj en annan förinställning eller ändra reglerna för enskilda crawlers, lägg till sökvägar som ska undantas och kopiera eller ladda ned reglerna till din webbplats.
Så fungerar det
- Välj en utgångspunkt
- Standardinställningen tillåter sökcrawlers och crawlers som öppnar en sida på begäran, men blockerar träningscrawlers. Du kan tillåta alla, blockera alla eller ändra inställningen för varje crawler separat.
- En grupp för samma regler
- Crawlers med samma regler delar en grupp med flera User-agent-rader. Namnen kommer från katalogen över AI-crawlers. Googlebot och Bingbot ingår inte eftersom de också genomsöker webben för Google Search och Bing.
- Sökvägarna gäller för alla grupper
- En crawler som anges i en grupp ärver inte gruppen User-agent: *, enligt RFC 9309. Extra Disallow-sökvägar läggs till i varje AI-grupp. Övriga sökvägar förblir tillåtna för de crawlers du släpper in.
- Behåll resten av filen
- Generatorn skriver bara AI-grupperna. Behåll din befintliga User-agent: *-grupp och övriga poster, inklusive länkar till webbplatskartor. Ersätt gamla grupper som anger samma crawlers och för över de sökvägar du fortfarande vill undanta.
Frågor om AI-sökrobotar
Kan AI-assistenter läsa sidorna om ditt företag?
Gör den kostnadsfria skanningen för att kontrollera åtkomsten och se vad assistenterna säger om ditt företag.