Google-Extended: en träningscrawlare som drivs av Google
Google-Extended är en träningscrawlare. Den samlar in sidor till Gemini-träning och faktaunderlag och drivs av Google.
Översikt
- Ansvarig för webbplatsen
- robots.txt-token
Google-Extended- Syfte
- Träning. Träningscrawlare samlar in sidor till framtida modeller. Att stänga ute dem stoppar inte de crawlare som hämtar sidor för att ge svar. De har egna namn.
- Vad den bidrar till
- Gemini-träning och faktaunderlag
Vad som händer om du blockerar den
Om du stänger ute Google-Extended kommer dina sidor inte med i det som samlas in till Gemini-träning och faktaunderlag. Crawlarna som hämtar sidor för att ge svar har egna namn och kan därför fortfarande läsa din webbplats.
Rader i robots.txt för Google-Extended
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Google-Extended
Allow: /För att stänga den ute
User-agent: Google-Extended
Disallow: /Släpper din webbplats in den?
Google-Extended är bara ett namn för regler i robots.txt. Kontrollen läser robots.txt för det namnet och skickar ingen förfrågan med det som användaragent.