Snelle antwoorden

AIGrow biedt monitoring van AI-zichtbaarheid, een bedrijfsassistent, blogpublicatie en afgebakende automatiseringsdiensten. Begin met de gratis scan om het resultaat te bekijken voordat je betaalt.

Voer de gratis scan uit

De scan is gratis en monitoringplannen beginnen bij € 29 per maand. De operationele audit kost € 290, de zichtbaarheidsaudit kost € 490 en voor maatwerk ontvang je vóór de start een schriftelijke prijsopgave.

Bekijk de plannen

Voer de gratis scan uit. Die leest je site, vraagt verschillende AI-assistenten wat je klanten vragen en wijst je op één ding. Aanmelden is niet nodig en de scan vertelt je als je ons niet nodig hebt.

Begin nu

Ja. Gebruik het contactformulier voor vragen over het product, facturatie, ondersteuning of een project. Beschrijf het doel en het betrokken systeem, zodat de eerste reactie specifiek kan zijn.

Neem contact op met AIGrow
robots.txt-generator voor AI

robots.txt-generator voor AI

Kies welke AI-crawlers je site mogen lezen. Begin met een voorinstelling, pas crawlers afzonderlijk aan en download het AI-gedeelte van je robots.txt. Gratis en zonder account.

Gratis en zonder registratie. Je keuzes blijven in de URL van deze pagina staan, zodat je ze kunt delen.

Voorinstelling

OAI-SearchBot

OpenAI: ChatGPT-zoekfunctie

Claude-SearchBot

Anthropic: Claude-zoekfunctie

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri en Spotlight

DuckAssistBot

DuckDuckGo: antwoorden van DuckDuckGo

Amazonbot

Amazon: Alexa en Rufus

YouBot

You.com: antwoorden van You.com

Crawlers voor gebruikersverzoeken

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Le Chat

Meta-ExternalFetcher

Meta: Meta AI

Trainingscrawlers

GPTBot

OpenAI: toekomstige OpenAI-modellen

ClaudeBot

Anthropic: toekomstige Claude-modellen

Google-Extended

Google: Gemini-training en onderbouwing van antwoorden

Applebot-Extended

Apple: training van Apple Intelligence

Meta-ExternalAgent

Meta: Meta AI

CCBot

Common Crawl: de open dataset waarop de meeste modellen worden getraind

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: Cohere-modellen

Googlebot en Bingbot staan niet in het bestand. Ze crawlen ook voor Google Search en Bing, dus je groep User-agent: * blijft voor hen bepalen wat is toegestaan. Wil je voorkomen dat je pagina's worden gebruikt voor het trainen van Gemini of als bron voor Gemini-antwoorden, blokkeer dan Google-Extended.

Optioneel. Eén pad per regel, maximaal 20 regels. Begin elk pad met / en gebruik geen spaties of #. Deze paden worden opgenomen in de gedeelde URL.

Je AI robots.txt-regels

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Plaats deze regels in robots.txt in de hoofdmap van je site en laat een bestaande groep User-agent: * staan.

Controleer welke crawlers je site nu toelaat

Deze gratis robots.txt-generator voor AI schrijft regels voor de crawlers in het AIGrow-overzicht. Standaard laat hij zoekcrawlers en crawlers die op verzoek een pagina openen toe, maar blokkeert hij trainingscrawlers. Kies een andere voorinstelling of pas crawlers afzonderlijk aan, voeg paden toe die je wilt uitsluiten en kopieer of download de regels voor je site.

Hoe dit werkt

Kies een uitgangspunt
Standaard zijn zoekcrawlers en crawlers die op verzoek een pagina openen toegestaan, terwijl trainingscrawlers worden geblokkeerd. Je kunt alle crawlers toestaan, alle crawlers blokkeren of ze afzonderlijk instellen.
Eén groep voor dezelfde regels
Crawlers met dezelfde regels komen in één groep met meerdere User-agent-regels. De namen komen uit het overzicht van AI-crawlers. Googlebot en Bingbot blijven buiten beschouwing, omdat ze ook crawlen voor Google Search en Bing.
Paden gelden voor elke groep
Een crawler die in een groep staat, neemt de regels van de groep User-agent: * niet over, zoals beschreven in RFC 9309. Extra Disallow-paden worden aan elke AI-groep toegevoegd. Andere paden blijven toegankelijk voor crawlers die je toestaat.
Behoud de rest van je bestand
De generator schrijft alleen de AI-groepen. Behoud je bestaande groep User-agent: * en andere vermeldingen, waaronder sitemaplinks. Vervang oude groepen waarin dezelfde crawlers staan en neem de paden over die je uitgesloten wilt houden.

Vragen over AI-crawlers

De generator schrijft User-agent-groepen met Allow- of Disallow-regels voor de crawlers in het overzicht van AI-crawlers. Googlebot en Bingbot zijn uitgezonderd, omdat ze ook crawlen voor Google Search en Bing. Crawlers met dezelfde regels delen een groep. Je kunt de tekst kopiëren of als robots.txt downloaden en daarna aan je bestaande bestand toevoegen.

Ze hebben verschillende taken en namen. Zoekcrawlers bouwen de index waarin een assistent zoekt. Crawlers voor gebruikersverzoeken openen een pagina wanneer iemand daarom vraagt. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Daarom kun je voor elk type afzonderlijk regels kiezen.

robots.txt is een verzoek aan crawlers, zoals beschreven in de documentatie van hun beheerders. In het bestand leg je vast welke regels je wilt dat ze volgen.

Het bestand hoort in de hoofdmap van je site, bijvoorbeeld op https://example.com/robots.txt. Staat daar al een bestand, behoud dan de groep User-agent: * en de andere vermeldingen, en werk de AI-groepen bij met de gegenereerde regels.

Kunnen AI-assistenten de pagina's van je bedrijf lezen?

Doe de gratis scan om de toegang te controleren en te zien wat assistenten over je bedrijf zeggen.

Doe de gratis AI-scan