AI robots.txt-generator
Kies met deze AI robots.txt-generator welke AI-crawlers je site mogen lezen. Pas een voorinstelling aan en download de AI-regels om ze aan je bestaande bestand toe te voegen.
Gratis en zonder registratie. Je keuzes blijven in de URL van deze pagina staan, zodat je ze kunt delen.

Je AI robots.txt-regels
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Plaats deze regels in robots.txt in de hoofdmap van je site en laat een bestaande groep User-agent: * staan.
Controleer welke crawlers je site nu toelaat
We kunnen ook robots.txt, je CDN-regels en je sitemap voor je instellen, zoals jij kiest, en ze daarna opnieuw controleren. Bekijk het instellen van toegang voor AI-crawlers
Deze gratis AI robots.txt-generator schrijft regels voor de crawlers in de AIGROW-directory. Standaard laat hij zoekcrawlers en crawlers die op verzoek pagina's openen toe, en blokkeert hij trainingscrawlers. Kies een andere voorinstelling of pas crawlers afzonderlijk aan, voeg paden toe die je wilt uitsluiten en kopieer of download de regels voor je site.
Hoe dit werkt
- Kies een uitgangspunt
- De standaardinstelling laat zoekcrawlers en crawlers die op verzoek een pagina openen toe, en blokkeert trainingscrawlers. Je kunt alle crawlers toestaan, alle crawlers blokkeren of ze afzonderlijk instellen.
- Eén groep voor dezelfde regels
- Crawlers met dezelfde regels delen een groep met meerdere User-agent-regels. De namen komen uit de AI-crawlerdirectory. Googlebot en Bingbot ontbreken omdat ze ook crawlen voor Google Search en Bing.
- Paden gelden voor elke groep
- Een crawler die in een groep wordt genoemd, neemt de groep User-agent: * niet over, zoals beschreven in RFC 9309. Extra Disallow-paden worden aan elke AI-groep toegevoegd. Andere paden blijven toegankelijk voor crawlers die je toelaat.
- Behoud de rest van je bestand
- De generator schrijft alleen de AI-groepen. Behoud je bestaande groep User-agent: * en andere vermeldingen, waaronder sitemaplinks. Vervang oude groepen waarin dezelfde crawlers staan en neem de paden over die je uitgesloten wilt houden.
Vragen over AI-crawlers
Kunnen AI-assistenten de pagina's van je bedrijf lezen?
Voer de gratis scan uit om de toegang te controleren en te zien wat assistenten over je bedrijf zeggen.