Toegang voor AI-crawlers instellen: robots.txt, CDN-regels en sitemap zo ingesteld dat de AI-crawlers die jij kiest je site kunnen lezen

€ 290Vaste prijs, eenmalig betaaldRapport binnen 5 werkdagen na toegang

Dezelfde controles ervoor en erna, en nogmaals 30 dagen later. Geleverd zoals vermeld, of volledig terugbetaald.

AIGROW stelt de toegang voor AI-crawlers in op één website voor € 290, eenmalig betaald. We controleren waar de belangrijkste AI-zoek- en trainingscrawlers bij kunnen via je robots.txt, CDN- en firewallregels, redirects en HTML, stellen de regels in zoals jij kiest, repareren je sitemap, dienen die in bij Bing en IndexNow en controleren alles 30 dagen later opnieuw.

Wat deze dienst wel en niet doet

Een site kan in een browser prima lijken en toch AI-crawlers weigeren: een oude robots.txt-regel die van een andere site is gekopieerd, een CDN- of firewallinstelling voor AI-bots, tekst die pas verschijnt nadat JavaScript draait, of een kapotte sitemap. Sommige crawlers halen pagina's op voor AI-zoekopdrachten en antwoorden, andere verzamelen pagina's om AI-modellen te trainen, en jij kiest welke je toelaat.

Wat het wel doet
  • Controleert waar de belangrijkste AI-crawlers bij kunnen op maximaal 10 pagina's: de crawlers die pagina's ophalen voor AI-zoekopdrachten en antwoorden, zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot, en de trainingscrawlers, zoals GPTBot, ClaudeBot en CCBot
  • Leest je robots.txt, je CDN- of firewallregels voor bots, de HTTP-status en redirects van elke pagina, en of de hoofdtekst in de HTML staat voordat JavaScript draait
  • Legt jouw keuze vast op een beslisblad: welke crawlers je toelaat voor zoeken en antwoorden en welke trainingscrawlers je blokkeert, nadat we de afweging in gewone woorden hebben uitgelegd
  • Stelt robots.txt en je CDN-regel in zoals je koos en repareert je XML-sitemap, met de toegang die je ons geeft, of stuurt de bestanden en exacte stappen naar je developer
  • Dient je sitemap in bij Bing Webmaster Tools en IndexNow waar je ons toegang geeft, en voegt een llms.txt-bestand toe als je dat wilt
  • Voert dezelfde controles opnieuw uit na de wijzigingen en 30 dagen later
Wat deze dienst niet doet
  • We bepalen niet voor je welke crawlers je toelaat: wij leggen uit, jij kiest
  • We beloven niet dat een AI-assistent je zal citeren, noemen of aanbevelen, en ook geen enkele ranking
  • We bouwen je site niet opnieuw: als de hoofdtekst pas na JavaScript verschijnt, melden we dat en leggen we vast wat je developer moet aanpassen
  • We houden crawlers die robots.txt negeren niet tegen: een regel geeft je voorkeur aan, en sommige verzoeken die namens een gebruiker worden gedaan, volgen die niet
  • We hebben je wachtwoord niet nodig: je nodigt hello@aigrow.gg uit, of maakt een tijdelijke gebruiker aan die na het rapport wordt verwijderd

Van betaling tot hercontrole

Elke stap en wanneer die plaatsvindt. Er verandert niets aan je site voordat je je keuzes schriftelijk bevestigt.

Betaal bij het afrekenenBetaal eenmalig met je kaart via Stripe. Je ontvangt de betaalbevestiging van Stripe.2 minuten
Antwoorden en toegang gevenWe mailen je direct na betaling. Antwoord met je site, je CDN of host en je pagina's, en nodig dan hello@aigrow.gg uit of maak een tijdelijke gebruiker aan.15 minuten
We controleren waar de crawlers bij kunnenVoor elke pagina en crawler noteren we de robots.txt-regel, de CDN-instelling, de HTTP-status en redirects, en of de hoofdtekst in de HTML staat. Daarna sturen we je het beslisblad met de afweging uitgelegd.Binnen 5 werkdagenVan toegang tot rapport
We voeren de gekozen wijzigingen doorWe stellen robots.txt, je CDN-regel en je sitemap in, voegen llms.txt toe als je daarom vroeg en dienen de sitemap in bij Bing en IndexNow. Of we sturen de bestanden en stappen naar je developer.Na jouw schriftelijke akkoord
Bekijk het rapportDezelfde controles ervoor en erna, pagina voor pagina en crawler voor crawler, waarna we onze toegang verwijderen. 30 dagen later voeren we de controles opnieuw uit en sturen we je het resultaat.Met de wijzigingenHercontrole na 30 dagen

Eén website, de crawlerregels, één prijs

Eenmalig betaald bij het afrekenen, waar we om je e-mailadres en kaart vragen. Direct na betaling mailen we je een korte vragenlijst en uitleg hoe je ons zonder wachtwoord toegang geeft; het rapport volgt binnen 5 werkdagen na toegang.

Wat we van je nodig hebben

Beantwoord onze vragenlijst met je site, het platform, je CDN of host, maximaal 10 pagina's en je keuzes. Nodig daarna hello@aigrow.gg uit voor je CDN-account, je siteplatform of host en Bing Webmaster Tools, of maak voor dat adres een tijdelijke gebruiker aan. Stuur nooit een wachtwoord per e-mail.

Wat je krijgt

  • Een controle van maximaal 10 pagina's voor elke belangrijke AI-crawler: robots.txt, CDN- en firewallregels, HTTP-status en redirects, en de hoofdtekst in de HTML
  • Een beslisblad met jouw keuze voor zoek- en antwoordcrawlers en voor trainingscrawlers
  • robots.txt en je CDN-regel ingesteld zoals je koos, of de bestanden en exacte stappen voor je developer
  • Je XML-sitemap gerepareerd en ingediend bij Bing Webmaster Tools en IndexNow waar je toegang geeft
  • Een llms.txt-bestand, als je dat wilt
  • Een rapport met dezelfde controles ervoor en erna, binnen 5 werkdagen na toegang
  • Onze toegang verwijderd na het rapport, en één hercontrole 30 dagen later

Toegang voor AI-crawlers instellen

€ 290

Eenmalig betaald bij het afrekenen. Geen abonnement, niets wordt automatisch verlengd.

Als we niet leveren wat op deze pagina staat, of als je van gedachten verandert voordat het werk begint, krijg je het volledige bedrag terug.

Waarom kopen bij AIGROW

Wat je kunt controleren voordat je betaalt, en na het werk.

Een vaste prijs
€ 290, eenmalig betaald. Geen abonnement, niets wordt verlengd. Alles wat erbij zit, staat op deze pagina vermeld voordat je betaalt.
Bewijs dat je kunt controleren
Het rapport toont elke pagina en crawler ervoor en erna: de geldende robots.txt-regel, de CDN-instelling, de HTTP-status en of de hoofdtekst in de HTML staat. Je kunt dezelfde controle zelf uitvoeren met de gratis AI-crawlercheck.
Een openbare methode
De eerste controle kun je zelf uitvoeren: de gratis AI-crawlercheck leest je robots.txt en vraagt een pagina op als elke crawler, in een paar seconden en zonder account. Voer de gratis AI-crawlercheck uit

Voordat je koopt

Wat we controleren en wijzigen, en wat de prijs niet belooft.

Dat kan niemand beloven, en wij doen dat ook niet. De instelling zorgt ervoor dat je eigen regels de crawlers die je koos niet weigeren, en dat je pagina's en sitemap gelezen kunnen worden. Of een assistent een pagina gebruikt of citeert, bepaalt de aanbieder ervan. De webmasterrichtlijnen van Bing zeggen hetzelfde over dit soort werk: ze garanderen geen citaties.

Sommige crawlers halen pagina's op zodat een AI-assistent ze kan vinden en citeren in een antwoord, zoals OAI-SearchBot voor ChatGPT search, Claude-SearchBot en PerplexityBot. Andere verzamelen pagina's om AI-modellen te trainen, zoals GPTBot, ClaudeBot en CCBot. OpenAI en Anthropic beschrijven voor elk type een aparte instelling, dus je kunt training blokkeren en zoeken toch toestaan. Wij leggen de afweging uit, en de keuze is aan jou.

Een CDN of firewall kan AI-crawlers blokkeren via een instelling waarvan je misschien niet weet dat die aanstaat. Met Cloudflare kan elke site AI-crawlers per categorie toestaan of blokkeren, en domeinen die sinds 15 september 2026 zijn toegevoegd, blokkeren standaard trainings- en agentcrawlers op pagina's met advertenties. Vercel biedt een firewallregelset voor AI-bots. Wij lezen de instelling uit die voor jouw site geldt.

llms.txt is een voorstel uit september 2024 voor een bestand dat taalmodellen naar de belangrijkste pagina's van een site wijst. Geen enkele grote AI-assistent heeft bevestigd dat die het bestand leest, en Google zegt dat Search het negeert. Wil je er een, dan schrijven wij het op basis van je eigen pagina's; wil je dat niet, dan laten we het weg.

Bing zegt dat Copilot search dezelfde crawling en indexering gebruikt als Bing search, en dat het pagina's vindt via XML-sitemaps en IndexNow. Daarom dienen we, waar je ons toegang geeft, je sitemap in bij Bing Webmaster Tools en sturen we je pagina's door via IndexNow.

Dan melden we dat per pagina. De richtlijnen van Bing waarschuwen ervoor belangrijke content te verbergen achter client-side rendering, en uit een onderzoek van Vercel en MERJ uit december 2024 bleek dat de crawlers van OpenAI, Anthropic en Perplexity geen JavaScript uitvoerden. Het aanpassen van de manier waarop je site rendert is ontwikkelwerk buiten deze dienst, dus we leggen vast wat je ontwikkelaar moet aanpassen.

Nee, en stuur er nooit een per e-mail. Je nodigt hello@aigrow.gg uit als lid van je CDN-account, beperkt tot deze site, als gebruiker op het platform of de host van je site en als gebruiker in Bing Webmaster Tools. Als een platform geen uitnodigingen ondersteunt, maak je een tijdelijke gebruiker aan voor hello@aigrow.gg en mailt het platform de inloglink naar ons. We bewaren die in onze wachtwoordkluis en verwijderen de toegang zodra het rapport is verstuurd.

Het rapport met de controles van voor en na komt binnen 5 werkdagen na toegang; de dagen dat we wachten op jouw keuzes of op je ontwikkelaar tellen niet mee. Crawlers verwerken wijzigingen in hun eigen tempo, en OpenAI zegt dat een wijziging in robots.txt ongeveer 24 uur kan duren voordat die doorkomt in de systemen. Daarom voeren we dezelfde controles 30 dagen later opnieuw uit.

Wil je weten wat de assistenten al over jou zeggen?

De AI-nauwkeurigheidsaudit vraagt ChatGPT, Claude, Gemini en Grok wat klanten over jouw bedrijf vragen, markeert elk fout antwoord aan de hand van je echte gegevens en schrijft het verbeterplan.

Bekijk de AI-nauwkeurigheidsaudit

De dienst die hierna past

€ 390

Gestructureerde gegevens en antwoordpagina's

We voegen schema.org-markup toe aan maximaal 20 pagina's van je site en schrijven 5 pagina's met antwoorden op vragen van klanten.

Bekijk gestructureerde data en antwoordpagina's

Laat de AI-crawlers van jouw keuze je site lezen.

Betaal één keer, geef ons toegang zonder wachtwoord, kies welke crawlers je toestaat en ontvang het rapport binnen 5 werkdagen na toegang.

€ 290 · eenmalig betaald · geleverd zoals beschreven of je geld terug