Snelle antwoorden

AIGrow biedt monitoring van AI-zichtbaarheid, een bedrijfsassistent, blogpublicatie en afgebakende automatiseringsdiensten. Begin met de gratis scan om het resultaat te bekijken voordat je betaalt.

Voer de gratis scan uit

De scan is gratis en monitoringplannen beginnen bij € 29 per maand. De operationele audit kost € 290, de zichtbaarheidsaudit kost € 490 en voor maatwerk ontvang je vóór de start een schriftelijke prijsopgave.

Bekijk de plannen

Voer de gratis scan uit. Die leest je site, vraagt verschillende AI-assistenten wat je klanten vragen en wijst je op één ding. Aanmelden is niet nodig en de scan vertelt je als je ons niet nodig hebt.

Begin nu

Ja. Gebruik het contactformulier voor vragen over het product, facturatie, ondersteuning of een project. Beschrijf het doel en het betrokken systeem, zodat de eerste reactie specifiek kan zijn.

Neem contact op met AIGrow
AI-crawlercheck

Kunnen AI-assistenten je site lezen?

Voer het adres van een pagina in. De check leest het robots.txt-bestand en vraagt de pagina op als elke AI-crawler. Daarna zie je welke crawlers de pagina kunnen lezen en welke worden geweigerd.

Gratis, zonder account of e-mailadres. De controle duurt enkele seconden.

Een homepage of een andere pagina. Alleen die pagina wordt gecontroleerd.

De AI-crawlercheck leest het robots.txt-bestand van een pagina en vraagt de pagina één keer op als elke AI-crawler, zoals OAI-SearchBot, ChatGPT-User, PerplexityBot en Claude-User. Je ziet welke crawlers de pagina mogen lezen en welke door een firewall of CDN worden geweigerd. De check is gratis, vereist geen account en duurt enkele seconden.

Hoe deze controle werkt

robots.txt
Het robots.txt-bestand van de site wordt één keer gelezen. Daarna worden de regels voor elke crawler op de pagina toegepast zoals beschreven in RFC 9309: een groep die de crawler bij naam noemt, gaat vóór de groep voor alle crawlers.
Een verzoek als elke crawler
De pagina wordt één keer opgevraagd met de gepubliceerde useragent van elke crawler. Als de pagina wordt geladen, geldt deze als leesbaar. Een weigering of verificatiepagina telt als geweigerd.
Controleverzoek
De pagina wordt ook opgevraagd als een gewone browser. Als ook dat verzoek wordt geweigerd, zeggen de crawlerverzoeken niets over crawlers in het bijzonder en beoordelen we alleen robots.txt.
De beperking
Onze verzoeken komen vanaf ons eigen adres. Een firewall die de gepubliceerde IP-adressen van een crawler controleert, kan ons verzoek weigeren maar de echte crawler wel toelaten. Daarom beoordelen we Googlebot en Bingbot alleen op basis van robots.txt.

Elke crawler in de tabel heeft een eigen pagina in de lijst met AI-crawlers.

Vragen over AI-crawlers

Zoekcrawlers, zoals OAI-SearchBot, bouwen de index op waaruit een assistent bronnen aanhaalt. Gebruikerscrawlers, zoals ChatGPT-User, halen een pagina op wanneer iemand ernaar vraagt. Trainingscrawlers, zoals GPTBot, verzamelen tekst voor toekomstige modellen. De crawlers die pagina's ophalen voor antwoorden staan hier los van. Een trainingscrawler blokkeren heeft dus geen gevolgen voor antwoorden van vandaag; een zoek- of gebruikerscrawler blokkeren wel.

Een CDN, firewall of dienst voor botbescherming kan verzoeken op basis van de useragent weigeren voordat robots.txt wordt gelezen. Sommige hebben een instelling voor AI-crawlers. De site opent nog gewoon in een browser, waardoor de blokkade onopgemerkt blijft.

Nee. llms.txt is een voorgesteld bestand dat de belangrijkste pagina's van een site opsomt voor taalmodellen. Voor de crawlers in deze check moet robots.txt toegang toestaan en moet de server de pagina aanbieden. Een llms.txt-bestand verandert daar niets aan.

Nee. Als je ze toelaat, betekent dat alleen dat de assistenten de pagina kunnen lezen. Of je bedrijf wordt genoemd, hangt af van wat op die pagina en op andere sites over je bedrijf staat.

Bekijk wat assistenten over je zeggen

De gratis scan leest je site, controleert dezelfde crawlers en stelt assistenten de vragen die je potentiële klanten stellen.

Start de gratis AI-scan