Kan AI mijn website lezen?

Kan AI mijn website lezen? Vergelijk tekst, koppen, links en gestructureerde gegevens in de ruwe HTML voor verschillende crawlers. Controleer toegangsregels en herken pagina's die zonder JavaScript leeg blijven.

Gratis, zonder account. Tien controles per uur, verdeeld over de checks voor AI-leesbaarheid, mobiel gebruik en technologie.

We sturen het adres voor deze controle naar onze API. Resultaten kunnen vijf minuten in de cache blijven.

AI-crawlers lezen de HTML die je server verstuurt. In een onderzoek van Vercel uit december 2024 voerden de crawlers achter ChatGPT, Claude en Perplexity geen JavaScript uit. Tekst die scripts toevoegen, bereikte hen dus nooit. Vul een pagina in om die op te halen als vier AI-crawlers en als browser. Bekijk daarna welke tekst, koppen en links elke crawler ontving.

Zo gebruik je deze checker

Vijf verzoeken voor één pagina
Onze server vraagt de pagina op als GPTBot, ClaudeBot, PerplexityBot en OAI-SearchBot, telkens met de useragent die de beheerder publiceert, en eenmaal als desktopbrowser Chrome. Elk verzoek volgt maximaal drie doorverwijzingen en leest hoogstens 3 MB.
Eerst robots.txt
We lezen de robots.txt van de site voordat we een crawlerverzoek versturen. Als robots.txt een crawler weert, sturen we die niet naar de pagina en tonen we de regel die hem blokkeert.
Paginarichtlijnen en llms.txt
Elke crawlerregel toont beperkende meta robots- en X-Robots-Tag-richtlijnen, met de documentatie van de beheerder over de useragent. noai en noimageai zijn niet-standaardverzoeken. We controleren llms.txt als een beperkt, vrijwillig signaal. Het aandeel gerenderde tekst meten we niet. Voor woordenaantallen vergelijken we de ruwe HTML van de desktopversie.
Er wordt geen JavaScript uitgevoerd
Tekst, koppen, links, titel, beschrijving en JSON-LD komen rechtstreeks uit de HTML zoals de server die verstuurde. Niets op de pagina wordt uitgevoerd. Dat komt overeen met de manier waarop de crawlers in het onderzoek van Vercel pagina's lazen.
Hoe we het oordeel bepalen
Leesbaar: er kwamen 40 of meer woorden binnen en niets wijst erop dat voor de rest JavaScript nodig is. Deels leesbaar: een korte pagina met minder dan 150 woorden en aanwijzingen dat scripts de pagina opbouwen, of minder dan de helft van de woorden in de browserversie. Lege pagina: geen leesbare woorden, maar wel scripts, of minder dan 40 woorden met een lege app-root, een JavaScript-melding of veel inline scripts. Geblokkeerd: robots.txt, een weigering of een botcontrole hield de crawler tegen.

Bron voor de werking van crawlers: Vercel, “The rise of the AI crawler”, 17 december 2024. De onderzochte crawlers van OpenAI, Anthropic, Meta, ByteDance en Perplexity voerden geen JavaScript uit.

Vragen over deze checker

Volgens het onderzoek ‘The rise of the AI crawler’ van Vercel (17 december 2024) renderde geen van de grote AI-crawlers JavaScript. Dat gold ook voor OAI-SearchBot, ChatGPT-User en GPTBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot. ChatGPT en Claude haalden JavaScript-bestanden op zonder ze uit te voeren. Gemini gebruikt de infrastructuur van Googlebot, die JavaScript wel rendert. Crawlers kunnen veranderen, dus test opnieuw na een herontwerp.

Je browser voert de scripts van de pagina uit, die na het laden de tekst opbouwen. Een crawler die geen scripts uitvoert, houdt alleen de eerste HTML over. Bij een app die in de browser wordt gerenderd, is dat een lege container. Server-side rendering, statische generatie of prerendering zet de volledige tekst al in die eerste HTML.

Sommige sites sturen crawlers een vooraf gerenderde versie en browsers een pagina die door scripts wordt opgebouwd. De controle signaleert dit als een crawler minstens 150 woorden ontvangt en de browserversie minder dan 40. Zorg dat beide versies inhoudelijk overeenkomen, want zoekmachines beschouwen verschillende inhoud voor bots en mensen als cloaking.

Een firewall of botbeveiliging kan een verzoek weigeren of een controlepagina tonen voordat het je site bereikt. Sta de crawler toe in die dienst, bijvoorbeeld in de botinstellingen van Cloudflare. Onze verzoeken komen van één server. Een blokkade hier is daarom een sterke aanwijzing, maar geen bewijs, dat de echte crawler hetzelfde krijgt.

Nee. Je ziet alleen wat een crawler op één pagina kan lezen. Of een assistent je bedrijf noemt, hangt van veel andere bronnen af. De gratis AI-zichtbaarheidsscan controleert echte antwoorden.

Gerelateerde tools

  • Website-technologiechecker

    Gebruik deze website-technologiechecker om software te herkennen aan zichtbare kenmerken en DNS-gegevens. Bekijk vermelde versies en onderbouwing, en vergelijk vervolgens twee sites, inclusief informatie over toegang voor AI-crawlers.

  • AI-crawlercontrole

    Controleer met deze AI-crawlerchecker de robots.txt-regels, indexeringssignalen en HTTP-responses. Bekijk geblokkeerde toegang voordat je de regels van je site wijzigt.

  • llms.txt genereren en valideren

    Maak met deze tool een bewerkbaar llms.txt-bestand op basis van een website, XML-sitemap of geplakte paginalijst. Deel het in secties in, controleer de beschrijvingen en kopieer of download de Markdown.

Controleer of AI je bedrijf noemt

Een pagina die crawlers kunnen lezen, is het startpunt. De gratis AI-zichtbaarheidsscan laat zien hoe assistenten vragen over je bedrijf beantwoorden en waar je vervolgens aan kunt werken.

Start de gratis AI-zichtbaarheidsscan