AI robots.txt-generator

Kies met deze AI robots.txt-generator welke AI-crawlers je site mogen lezen. Pas een voorinstelling aan en download de AI-regels om ze aan je bestaande bestand toe te voegen.

Gratis en zonder registratie. Je keuzes blijven in de URL van deze pagina staan, zodat je ze kunt delen.

Voorinstelling

OAI-SearchBot

OpenAI: ChatGPT-zoekfunctie

Claude-SearchBot

Anthropic: Claude-zoekfunctie

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri en Spotlight

DuckAssistBot

DuckDuckGo: Antwoorden van DuckDuckGo

MistralAI-Index

Mistral: Zoeken met Vibe

Meta-WebIndexer

Meta: Zoeken met Meta AI

Amzn-SearchBot

Amazon: Alexa-zoekfunctie

YouBot

You.com: Antwoorden van You.com

Crawlers voor gebruikersverzoeken

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Trainingscrawlers

GPTBot

OpenAI: toekomstige OpenAI-modellen

ClaudeBot

Anthropic: toekomstige Claude-modellen

Google-Extended

Google: Gemini-training en onderbouwing van antwoorden

Applebot-Extended

Apple: Training van Apple Intelligence

MistralAI-Training

Mistral: toekomstige Mistral-modellen

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Amazon-producten en -modellen

CCBot

Common Crawl: de open dataset waarop de meeste modellen worden getraind

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: eerdere voorkeur in robots.txt

Googlebot en Bingbot staan niet in het bestand. Ze crawlen ook voor Google Search en Bing, dus je groep User-agent: * blijft voor hen bepalen wat is toegestaan. Wil je voorkomen dat je pagina's worden gebruikt voor het trainen van Gemini of als bron voor Gemini-antwoorden, blokkeer dan Google-Extended.

Optioneel. Eén pad per regel, maximaal 20 regels. Begin elk pad met / en gebruik geen spaties of #. Deze paden worden opgenomen in de gedeelde URL.

Je AI robots.txt-regels

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Plaats deze regels in robots.txt in de hoofdmap van je site en laat een bestaande groep User-agent: * staan.

Controleer welke crawlers je site nu toelaat

We kunnen ook robots.txt, je CDN-regels en je sitemap voor je instellen, zoals jij kiest, en ze daarna opnieuw controleren. Bekijk het instellen van toegang voor AI-crawlers

Deze gratis AI robots.txt-generator schrijft regels voor de crawlers in de AIGROW-directory. Standaard laat hij zoekcrawlers en crawlers die op verzoek pagina's openen toe, en blokkeert hij trainingscrawlers. Kies een andere voorinstelling of pas crawlers afzonderlijk aan, voeg paden toe die je wilt uitsluiten en kopieer of download de regels voor je site.

Hoe dit werkt

Kies een uitgangspunt
De standaardinstelling laat zoekcrawlers en crawlers die op verzoek een pagina openen toe, en blokkeert trainingscrawlers. Je kunt alle crawlers toestaan, alle crawlers blokkeren of ze afzonderlijk instellen.
Eén groep voor dezelfde regels
Crawlers met dezelfde regels delen een groep met meerdere User-agent-regels. De namen komen uit de AI-crawlerdirectory. Googlebot en Bingbot ontbreken omdat ze ook crawlen voor Google Search en Bing.
Paden gelden voor elke groep
Een crawler die in een groep wordt genoemd, neemt de groep User-agent: * niet over, zoals beschreven in RFC 9309. Extra Disallow-paden worden aan elke AI-groep toegevoegd. Andere paden blijven toegankelijk voor crawlers die je toelaat.
Behoud de rest van je bestand
De generator schrijft alleen de AI-groepen. Behoud je bestaande groep User-agent: * en andere vermeldingen, waaronder sitemaplinks. Vervang oude groepen waarin dezelfde crawlers staan en neem de paden over die je uitgesloten wilt houden.

Vragen over AI-crawlers

Hij schrijft User-agent-groepen met Allow- of Disallow-regels voor de crawlers in de AI-crawlerdirectory, behalve Googlebot en Bingbot, die ook crawlen voor Google Search en Bing. Crawlers met dezelfde regels delen een groep. Je kunt de tekst kopiëren of downloaden als robots.txt en vervolgens aan je bestaande bestand toevoegen.

Ze doen verschillend werk en hebben verschillende namen. Zoekcrawlers bouwen de index die een assistent doorzoekt. Crawlers voor gebruikersverzoeken openen een pagina wanneer iemand erom vraagt. Trainingscrawlers verzamelen pagina's voor toekomstige modellen, zodat je voor hen aparte regels kunt kiezen.

robots.txt is een verzoek aan crawlers, zoals beschreven in de documentatie van hun beheerders. Het bestand bevat de regels die je hun vraagt te volgen.

Het hoort in de hoofdmap van je site, bijvoorbeeld op https://example.com/robots.txt. Als daar al een bestand staat, behoud dan de groep User-agent: * en andere vermeldingen en werk de AI-groepen bij met de gegenereerde regels.

Kunnen AI-assistenten de pagina's van je bedrijf lezen?

Voer de gratis scan uit om de toegang te controleren en te zien wat assistenten over je bedrijf zeggen.