Googlebot: En søgecrawler, som drives af Google

Googlebot er en søgecrawler. Den læser sider til søgeindekset bag produktet (Google Search og AI Overviews). Operatøren er Google.

Overblik

Ansvarlig virksomhed
Google
robots.txt-token
Googlebot
Formål
Søgning. Søgecrawlere læser sider for at opbygge det indeks, en assistent søger i, når den svarer. Hvis de ikke kan læse en side, kan den hverken findes eller citeres i de svar.
Hvad den leverer data til
Google Search og AI Overviews

Hvad det ændrer at blokere den

Hvis du blokerer Googlebot, kan dine sider ikke findes eller citeres i søgesvar fra produktet (Google Search og AI Overviews).

Linjer i robots.txt for Googlebot

robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).

Tillad adgang

User-agent: Googlebot
Allow: /

Blokér adgang

User-agent: Googlebot
Disallow: /

Giver dit website adgang?

Crawlertjekket læser kun robots.txt for Googlebot og sender ingen forespørgsel som den.

Tjek, om dit website giver adgang til Googlebot

Spørgsmål om Googlebot

Googlebot er en søgecrawler. Den læser sider til søgeindekset bag produktet (Google Search og AI Overviews). Operatøren er Google.

Kun hvis du ikke ønsker, at dine sider skal vises i søgesvar fra produktet (Google Search og AI Overviews). Det ændrer ikke noget for crawlere med andre navne.

Tilføj en gruppe med crawlerens navn og en regel for alle stier: “User-agent: Googlebot” efterfulgt af “Disallow: /”. Vil du give den adgang, skal du skrive “Allow: /” i stedet.