Googlebot: een zoekcrawler van Google

Googlebot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Google Search en AI Overviews. Google beheert deze crawler.

In één oogopslag

Beheerder
Google
robots.txt-token
Googlebot
Doel
Zoeken. Zoekcrawlers lezen pagina's om de index op te bouwen waarin een assistent zoekt wanneer die antwoord geeft. Een pagina die ze niet kunnen lezen, kan niet in die antwoorden worden gevonden of geciteerd.
Waarvoor de gegevens worden gebruikt
Google Search en AI Overviews

Wat blokkeren verandert

Als je Googlebot weert, kunnen je pagina's niet worden gevonden of geciteerd in de zoekantwoorden van Google Search en AI Overviews.

robots.txt-regels voor Googlebot

robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).

Toelaten

User-agent: Googlebot
Allow: /

Blokkeren

User-agent: Googlebot
Disallow: /

Laat jouw site deze crawler toe?

De crawlercheck leest voor Googlebot alleen robots.txt en verstuurt geen verzoek namens deze crawler.

Controleer of jouw site Googlebot toelaat

Vragen over Googlebot

Googlebot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Google Search en AI Overviews. Google beheert deze crawler.

Alleen als je niet wilt dat je pagina's verschijnen in de zoekantwoorden van Google Search en AI Overviews. Andere crawlers blijven hierdoor ongemoeid.

Voeg een groep toe met de naam van de crawler en een regel voor alle paden: “User-agent: Googlebot”, gevolgd door “Disallow: /”. Wil je de crawler toelaten, gebruik dan “Allow: /”.