Google-Extended: een robots.txt-instelling voor Google
Google-Extended is een robots.txt-instelling voor het trainen van Gemini en het onderbouwen van antwoorden. Het heeft geen eigen HTTP-useragent en heeft geen invloed op de ranking in Google Search.
In één oogopslag
- Beheerder
- robots.txt-token
Google-Extended- Doel
- Training. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Als je ze weert, kunnen crawlers die pagina's ophalen voor antwoorden je site nog steeds lezen. Die hebben eigen namen.
- Waarvoor de gegevens worden gebruikt
- Gemini-training en onderbouwing van antwoorden
Wat blokkeren verandert
Als je Google-Extended via Disallow blokkeert, beperk je het gebruik van je content voor het trainen van Gemini en het onderbouwen van antwoorden. Googlebot kan je site nog steeds crawlen voor Google Search.
robots.txt-regels voor Google-Extended
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Google-Extended
Allow: /Blokkeren
User-agent: Google-Extended
Disallow: /Laat jouw site deze crawler toe?
Google-Extended is alleen een naam voor robots.txt-regels. De crawlercheck leest daarvoor je robots.txt en verstuurt geen verzoek namens deze crawler.