Robots.txt-tester

Test tot 50 paden met de robots.txt-tester. Vergelijk regels voor zoekmachines en AI-crawlers, controleer geblokkeerde bestanden en sitemaps, en pas een concept aan om het opnieuw te testen.

Gratis, zonder account. Tien sitecontroles per uur.

Te testen robots.txt

Onze server leest /robots.txt op deze host. Het bestand kan vijf minuten in de cache blijven.

Een pad of volledig adres. Leeg betekent het adres hierboven.

Maximaal 50 paden. Als je hier iets invult, vervangen deze paden het enkele pad hierboven. Volledige URL's moeten bij de site van het livebestand horen.

Een robots.txt-tester laat zien of een crawler een URL mag ophalen volgens de robots.txt-regels van een site. Deze tester leest het livebestand of een geplakt concept en past de regels toe zoals RFC 9309 en Google beschrijven: de groep voor die crawler geldt, de langste overeenkomende regel wint en bij gelijke lengte wint Allow. Je ziet welke regel doorslaggevend is.

Zo gebruik je deze checker

Lees het livebestand of plak een concept
Voer een site in om het livebestand op /robots.txt te lezen, of plak een concept om het vóór publicatie te testen. Een geplakt concept gaat alleen naar onze server om de regels toe te passen. Er wordt niets voor opgehaald.
Kies het pad en de crawler
Voer één pad in of maximaal 50 paden, één per regel. Vergelijk Googlebot, Bingbot en alle vermelde AI-tokens in één overzicht. Groepen met een naam worden samengevoegd; anders gelden de wildcardregels. Volledige URL's moeten bij de site van het livebestand horen.
Bekijk de doorslaggevende regel
Het langste overeenkomende patroon wint en bij gelijke lengte wint Allow. Wildcards en eindmarkeringen volgen het gedrag van Google's matcher. De eerste 500 KiB wordt gelezen. Een 4xx-status, behalve 429, staat crawlen toe; bij serverfouten geldt een volledig crawlverbod, zonder aan te nemen dat er een eerder opgeslagen bestand is.

Vragen over deze checker

Een 404 of een andere 4xx-respons betekent dat er geen regels zijn en elke crawler alles mag ophalen. Een 5xx-respons, een time-out of een botcontrolepagina is anders: volgens RFC 9309 moeten crawlers de hele site als niet toegankelijk behandelen totdat ze het bestand kunnen lezen.

Nee. Disallow voorkomt dat een pagina wordt gecrawld, maar Google kan een geblokkeerde pagina nog steeds indexeren via links ernaartoe, zonder beschrijving. Wil je een pagina uit de zoekresultaten houden, sta crawlen dan toe en voeg een noindex-metatag of een X-Robots-Tag-header toe.

De grote aanbieders zeggen van wel. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en Google-Extended hebben elk een officieel gepubliceerd token. Robots.txt werkt alleen voor crawlers die ervoor kiezen de regels te volgen. Gebruik dus ook firewallregels als je ze echt wilt blokkeren.

Google ondersteunt Crawl-delay niet. Bing en sommige andere crawlers lezen de regel wel. De tester markeert de regel, zodat je weet dat die niets verandert voor Googlebot.

Gerelateerde tools

  • AI robots.txt-generator

    Kies met deze AI robots.txt-generator welke AI-crawlers je site mogen lezen. Pas een voorinstelling aan en download de AI-regels om ze aan je bestaande bestand toe te voegen.

  • Robots.txt-generator

    Gebruik deze robots.txt-generator om een bestand voor je hele site te maken. Begin met de standaardinstellingen van WordPress, Shopify, Wix of Squarespace en test daarna elk pad tegen het resultaat.

  • AI Overviews-checker

    Controleer met deze AI Overviews-checker of Googlebot toegang heeft tot je pagina en welke regels gelden voor indexering en tekstfragmenten. Lees de bevindingen voordat je de toegangsinstellingen wijzigt.

Controleer of AI-assistenten je bedrijf noemen

Met technische controles kun je een pagina verbeteren. De gratis AI-zichtbaarheidsscan laat zien welke antwoorden voor je bedrijf zijn gecontroleerd en wat je vervolgens kunt aanpakken.

Start de gratis AI-zichtbaarheidsscan