Googlebot: rastreador de búsqueda operado por Google

Googlebot es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Google Search y AI Overviews. Lo opera Google.

De un vistazo

Responsable del sitio
Google
Identificador en robots.txt
Googlebot
Función
Búsqueda. Los rastreadores de búsqueda leen páginas para crear el índice que consulta un asistente al responder. Si no pueden leer una página, no podrán encontrarla ni citarla en sus respuestas.
Qué alimenta
Google Search y AI Overviews

Qué cambia al bloquearlo

Si bloqueas Googlebot, tus páginas no podrán aparecer ni citarse en las respuestas de búsqueda de Google Search y AI Overviews.

Reglas de robots.txt para Googlebot

robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).

Para permitirle el acceso

User-agent: Googlebot
Allow: /

Para bloquearle el acceso

User-agent: Googlebot
Disallow: /

¿Tu sitio le permite el acceso?

La comprobación de rastreadores solo lee robots.txt para Googlebot; no envía ninguna solicitud haciéndose pasar por él.

Comprueba si tu sitio permite el acceso a Googlebot

Preguntas sobre Googlebot

Googlebot es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Google Search y AI Overviews. Lo opera Google.

Solo si no quieres que tus páginas aparezcan en las respuestas de búsqueda de Google Search y AI Overviews. Bloquearlo no afecta a los rastreadores que tienen otros nombres.

Añade un grupo con su nombre y una regla para todas las rutas: «User-agent: Googlebot», seguido de «Disallow: /». Si quieres permitirle el acceso, escribe «Allow: /» en su lugar.