AI-generator för robots.txt

Använd den här AI-generatorn för robots.txt för att välja vilka AI-crawlers som får läsa din webbplats. Anpassa en förinställning och ladda ned AI-reglerna för att lägga till dem i din befintliga fil.

Gratis och utan registrering. Dina val sparas i sidans URL så att du kan dela dem.

Förinställning

OAI-SearchBot

OpenAI: ChatGPT-sökning

Claude-SearchBot

Anthropic: Claude-sökning

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri och Spotlight

DuckAssistBot

DuckDuckGo: Svar från DuckDuckGo

MistralAI-Index

Mistral: Vibe-sökning

Meta-WebIndexer

Meta: Meta AI-sökning

Amzn-SearchBot

Amazon: Alexa-sökning

YouBot

You.com: Svar från You.com

Crawlare för användarförfrågningar

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Träningscrawlare

GPTBot

OpenAI: framtida OpenAI-modeller

ClaudeBot

Anthropic: framtida Claude-modeller

Google-Extended

Google: Gemini-träning och faktaunderlag

Applebot-Extended

Apple: Träning av Apple Intelligence

MistralAI-Training

Mistral: framtida Mistral-modeller

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Amazons produkter och modeller

CCBot

Common Crawl: den öppna datamängd som de flesta modeller tränas på

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: tidigare inställning i robots.txt

Googlebot och Bingbot finns inte med i filen. De söker också igenom webben för Google Search och Bing, så din grupp User-agent: * fortsätter att styra dem. Blockera Google-Extended om du inte vill att dina sidor används för träning av Gemini eller som underlag för dess svar.

Valfritt. En sökväg per rad, högst 20 rader. Börja varje sökväg med / och använd inte mellanslag eller #. Sökvägarna följer med i den delade URL:en.

Dina AI-regler för robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Lägg in de här reglerna i robots.txt i webbplatsens rotkatalog och behåll en eventuell befintlig grupp User-agent: *.

Kontrollera vilka sökrobotar din webbplats släpper in nu

Vi kan också ställa in robots.txt, dina CDN-regler och din sitemap åt dig, som du vill, och kontrollera dem igen efteråt. Se konfigurationen av AI-crawlers åtkomst

Den här kostnadsfria AI-generatorn för robots.txt skriver regler för crawlers i AIGROWs katalog. Som standard tillåter den sökcrawlers och crawlers som hämtar sidor på begäran, men blockerar träningscrawlers. Välj en annan förinställning eller ändra reglerna för enskilda crawlers, lägg till sökvägar som ska undantas och kopiera eller ladda ned reglerna till din webbplats.

Så fungerar det

Välj en utgångspunkt
Standardinställningen tillåter sökcrawlers och crawlers som öppnar en sida på begäran, men blockerar träningscrawlers. Du kan tillåta alla, blockera alla eller ändra inställningen för varje crawler separat.
En grupp för samma regler
Crawlers med samma regler delar en grupp med flera User-agent-rader. Namnen kommer från katalogen över AI-crawlers. Googlebot och Bingbot ingår inte eftersom de också genomsöker webben för Google Search och Bing.
Sökvägarna gäller för alla grupper
En crawler som anges i en grupp ärver inte gruppen User-agent: *, enligt RFC 9309. Extra Disallow-sökvägar läggs till i varje AI-grupp. Övriga sökvägar förblir tillåtna för de crawlers du släpper in.
Behåll resten av filen
Generatorn skriver bara AI-grupperna. Behåll din befintliga User-agent: *-grupp och övriga poster, inklusive länkar till webbplatskartor. Ersätt gamla grupper som anger samma crawlers och för över de sökvägar du fortfarande vill undanta.

Frågor om AI-sökrobotar

Den skriver User-agent-grupper med Allow- eller Disallow-regler för crawlers i katalogen över AI-crawlers, med undantag för Googlebot och Bingbot, som också genomsöker webben för Google Search och Bing. Crawlers med samma regler delar en grupp. Du kan kopiera texten eller ladda ned den som robots.txt och sedan lägga till den i din befintliga fil.

De har olika uppgifter och olika namn. Sökcrawlers bygger upp det index som en assistent söker i. Crawlers för användarförfrågningar öppnar en sida när någon ber om det. Träningscrawlers samlar in sidor för framtida modeller, så du kan välja separata regler för dem.

robots.txt är en begäran till crawlers, enligt operatörernas dokumentation. Filen anger de regler du ber dem följa.

Den ska ligga i roten på din webbplats, till exempel https://example.com/robots.txt. Om du redan har en fil där behåller du dess User-agent: *-grupp och övriga poster och uppdaterar AI-grupperna med de genererade reglerna.

Kan AI-assistenter läsa sidorna om ditt företag?

Gör den kostnadsfria skanningen för att kontrollera åtkomsten och se vad assistenterna säger om ditt företag.