Robots.txt-generator

Gebruik deze robots.txt-generator om een bestand voor je hele site te maken. Begin met de standaardinstellingen van WordPress, Shopify, Wix of Squarespace en test daarna elk pad tegen het resultaat.

Gratis, zonder account. Het bestand wordt in je browser gemaakt en er wordt niets verzonden.

Begin met

Elke crawler mag elk pad opvragen. Voeg hieronder de paden toe die je wilt uitsluiten.

Optioneel. Wordt gebruikt voor de sitemapregels en de link naar de robots.txt-tester.

Groep 1

* staat voor elke crawler zonder eigen groep. Andere voorbeelden: Googlebot, Bingbot.

Paden die je wilt uitsluiten, één per regel, zoals /admin/ of /*?sort=.

Uitzonderingen binnen een uitgesloten pad, één per regel.

Optioneel. Google negeert dit. Bing leest waarden van 1 tot 30 seconden.

Volledige adressen. Sitemapregels gelden voor elke crawler.

Je robots.txt

Opnieuw ingelezen door de parser: 1 groep, 0 regels, 0 sitemapregels, 64 bytes.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Test een pad

Toegestaan Googlebot heeft geen eigen groep en volgt de groep voor *. Geen enkele regel komt overeen met dit pad, dus het is toegestaan.

Een robots.txt-bestand staat in de hoofdmap van een site en vertelt crawlers welke paden ze mogen opvragen. Deze generator schrijft groepen voor user agents, Allow- en Disallow-regels en sitemapregels. Daarna leest hij het bestand met dezelfde RFC 9309-parser als onze robots.txt-tester, zodat je een pad kunt testen voordat je het bestand uploadt.

Hoe dit werkt

Groepen en regels
Elke groep noemt een of meer user agents, de paden die ze niet mogen opvragen (Disallow) en de uitzonderingen (Allow). Een pad begint met / of * en $ markeert het einde van een URL. Een crawler volgt de groep waarin hij wordt genoemd. Als die ontbreekt, gebruikt hij de *-groep.
Standaardinstellingen per platform
De WordPress-voorinstelling komt overeen met het bestand dat WordPress zelf schrijft. De voorinstellingen voor Shopify, Wix en Squarespace zijn kopieën van de standaardbestanden die sites op die platforms in oktober 2026 aanboden. Op Shopify pas je het bestand aan via de thematemplate robots.txt.liquid. Wix heeft een robots.txt-editor in de SEO-instellingen. Squarespace beschrijft geen manier om een eigen bestand te uploaden, dus die voorinstelling dient alleen als referentie.
Crawlvertraging
Google negeert Crawl-delay. Bing leest het als een tijdvenster van 1 tot 30 seconden. De generator accepteert hele seconden van 1 tot 30 en schrijft de regel alleen in de groepen waarvoor je een vertraging instelt.
Gecontroleerd voordat je kopieert
Het voltooide bestand wordt opnieuw gelezen met de RFC 9309-parser van onze robots.txt-tester. De pagina meldt het als een regel anders wordt gelezen dan bedoeld of als het bestand de limiet van Google van 500 KiB overschrijdt. De padtest toont welke regel voor een bepaalde crawler de doorslag geeft.

Vragen over robots.txt

Nee. Het voorkomt crawlen, maar Google kan een geblokkeerde URL nog steeds zonder de inhoud indexeren als andere pagina's ernaar linken. Wil je een pagina uit de zoekresultaten houden, laat die dan crawlen en voeg een noindex-robots-metatag of een X-Robots-Tag-header toe.

In de hoofdmap van de host, bijvoorbeeld https://example.com/robots.txt. Elk subdomein en elk protocol heeft een eigen bestand nodig. Een bestand in een submap wordt genegeerd. Op Shopify, Wix en Squarespace wordt het bestand door het platform aangeboden, dus wijzigingen voer je door via de instellingen of het thema.

Een groep heeft minstens één regel nodig. Een lege Disallow staat alles toe en voorkomt dat de user agents van de volgende groep bij deze groep worden gevoegd.

Google en RFC 9309 kiezen de meest specifieke regel: die met het langste pad. Als een Allow- en een Disallow-regel even lang zijn, wint Allow. De padtest toont welke regel de doorslag geeft.

Voeg voor elke crawler een groep toe, of gebruik de AI robots.txt-generator. Die groepeert AI-crawlers naar doel en schrijft de bijbehorende regels. Plaats die regels onder je bestaande groepen.

Gerelateerde tools

  • Robots.txt-tester

    Test tot 50 paden met de robots.txt-tester. Vergelijk regels voor zoekmachines en AI-crawlers, controleer geblokkeerde bestanden en sitemaps, en pas een concept aan om het opnieuw te testen.

  • AI robots.txt-generator

    Kies met deze AI robots.txt-generator welke AI-crawlers je site mogen lezen. Pas een voorinstelling aan en download de AI-regels om ze aan je bestaande bestand toe te voegen.

  • SEO-checker

    Controleer met deze SEO-checker maximaal 25 pagina's op crawlproblemen en SEO-problemen op de pagina. Bekijk de getroffen URL's en een lijst met verbeteringen, of voeg een kleine steekproef van een concurrent toe.

Controleer hoe AI je bedrijf beschrijft

Pagina's die crawlers kunnen lezen en volgen vormen de basis. De gratis AI-zichtbaarheidsscan laat zien wat assistenten over je bedrijf antwoorden en waar je daarna aan kunt werken.

Doe de gratis AI-zichtbaarheidsscan