robots.txt-generator för AI
Välj vilka AI-robotar som får läsa din webbplats. Utgå från en förinställning, ändra reglerna för enskilda robotar och ladda ner AI-delen av din robots.txt. Gratis och utan konto.
Gratis och utan registrering. Dina val sparas i sidans URL så att du kan dela dem.
Dina AI-regler för robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Lägg in de här reglerna i robots.txt i webbplatsens rotkatalog och behåll en eventuell befintlig grupp User-agent: *.
Den här kostnadsfria robots.txt-generatorn för AI skriver regler för robotarna i AIGrow-katalogen. Som standard tillåter den sökrobotar och robotar som hämtar sidor på begäran, men blockerar robotar som samlar in träningsdata. Välj en annan förinställning eller ändra reglerna för enskilda robotar, lägg till sökvägar som ska undantas och kopiera eller ladda ner reglerna till din webbplats.
Så fungerar det
- Välj en utgångspunkt
- Standardinställningen tillåter sökrobotar och robotar som öppnar en sida på begäran, men blockerar robotar som samlar in träningsdata. Du kan tillåta alla robotar, blockera alla eller ändra reglerna för var och en.
- Samma regler i en grupp
- Robotar med samma regler samlas i en grupp med flera User-agent-rader. Namnen kommer från katalogen över AI-robotar. Googlebot och Bingbot ingår inte eftersom de också genomsöker webben för Google Search och Bing.
- Sökvägarna gäller för alla grupper
- En robot som anges i en grupp ärver inte reglerna i gruppen User-agent: *, enligt RFC 9309. Ytterligare sökvägar med Disallow läggs till i varje AI-grupp. Andra sökvägar förblir tillåtna för de robotar du släpper in.
- Behåll resten av filen
- Generatorn skriver bara AI-grupperna. Behåll din befintliga grupp User-agent: * och övriga poster, inklusive länkar till webbplatskartor. Ersätt gamla grupper för samma robotar och för över de sökvägar du fortfarande vill undanta.
Frågor om AI-sökrobotar
Kan AI-assistenter läsa sidorna om ditt företag?
Gör en gratis skanning för att kontrollera åtkomsten och se vad assistenterna säger om ditt företag.