Google-Extended: En træningscrawler, som drives af Google
Google-Extended er en træningscrawler. Den indsamler sider til træning og grounding af Gemini. Operatøren er Google.
Overblik
- Ansvarlig virksomhed
- robots.txt-token
Google-Extended- Formål
- Træning. Træningscrawlere indsamler sider til fremtidige modeller. Hvis du blokerer dem, stopper det ikke de crawlere, der henter sider til svar. De har deres egne navne.
- Hvad den leverer data til
- træning og grounding af Gemini
Hvad det ændrer at blokere den
Hvis du blokerer Google-Extended, kommer dine sider ikke med i det, den indsamler til træning og grounding af Gemini. De crawlere, der henter sider til svar, har deres egne navne og kan derfor stadig læse dit website.
Linjer i robots.txt for Google-Extended
robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).
Tillad adgang
User-agent: Google-Extended
Allow: /Blokér adgang
User-agent: Google-Extended
Disallow: /Giver dit website adgang?
Google-Extended er kun et navn til regler i robots.txt. Crawlertjekket læser robots.txt for den og sender ingen forespørgsel som den.