Googlebot: en sökcrawlare som drivs av Google
Googlebot är en sökcrawlare. Den läser sidor till sökindexet bakom Google Search och AI Overviews och drivs av Google.
Översikt
- Ansvarig för webbplatsen
- robots.txt-token
Googlebot- Syfte
- Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
- Vad den bidrar till
- Google Search och AI Overviews
Vad som händer om du blockerar den
Om du stänger ute Googlebot kan dina sidor inte hittas eller citeras i söksvaren från Google Search och AI Overviews.
Rader i robots.txt för Googlebot
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Googlebot
Allow: /För att stänga den ute
User-agent: Googlebot
Disallow: /Släpper din webbplats in den?
Kontrollen läser bara robots.txt för Googlebot och skickar ingen förfrågan med dess användaragent.