Googlebot: en søkerobot drevet av Google
Googlebot er en søkerobot. Den leser sider til søkeindeksen bak Google Search og AI Overviews. Roboten drives av Google.
Kort fortalt
- Driftsansvarlig
- navn i robots.txt
Googlebot- Formål
- Søk. Søkeroboter leser sider for å bygge søkeindeksen en assistent bruker når den svarer. En side de ikke kan lese, kan ikke bli funnet eller sitert i disse svarene.
- Hva den bidrar til
- Google Search og AI Overviews
Hva som skjer når den blokkeres
Hvis du holder Googlebot ute, kan sidene dine ikke bli funnet eller sitert i søkesvar fra Google Search og AI Overviews.
Linjer i robots.txt for Googlebot
robots.txt er en ren tekstfil i roten av et nettsted (yoursite.com/robots.txt). En gruppe begynner med én eller flere User-agent-linjer som navngir roboter, etterfulgt av Allow- og Disallow-linjer for stier. En robot som er navngitt i en gruppe, følger gruppene der den er navngitt og ignorerer gruppen for alle roboter (User-agent: *).
For å slippe den inn
User-agent: Googlebot
Allow: /For å holde den ute
User-agent: Googlebot
Disallow: /Slipper nettstedet ditt den inn?
Robotsjekken leser bare robots.txt for Googlebot og sender ingen forespørsel som denne roboten.