Google-Extended: een trainingscrawler van Google
Google-Extended is een trainingscrawler. Hij verzamelt pagina's voor Gemini-training en onderbouwing van antwoorden. Google beheert deze crawler.
In één oogopslag
- Beheerder
- robots.txt-token
Google-Extended- Doel
- Training. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Als je ze weert, kunnen crawlers die pagina's ophalen voor antwoorden je site nog steeds lezen. Die hebben eigen namen.
- Waarvoor de gegevens worden gebruikt
- Gemini-training en onderbouwing van antwoorden
Wat blokkeren verandert
Als je Google-Extended weert, worden je pagina's niet verzameld voor Gemini-training en onderbouwing van antwoorden. Crawlers die pagina's ophalen voor antwoorden hebben eigen namen en kunnen je site dus nog steeds lezen.
robots.txt-regels voor Google-Extended
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Google-Extended
Allow: /Blokkeren
User-agent: Google-Extended
Disallow: /Laat jouw site deze crawler toe?
Google-Extended is alleen een naam voor robots.txt-regels. De crawlercheck leest daarvoor je robots.txt en verstuurt geen verzoek namens deze crawler.