Rastreadores de IA
Googlebot: rastreador de búsqueda operado por Google
Googlebot es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Google Search y AI Overviews. Lo opera Google.
De un vistazo
- Responsable del sitio
- Identificador en robots.txt
Googlebot- Función
- Búsqueda. Los rastreadores de búsqueda leen páginas para crear el índice que consulta un asistente al responder. Si no pueden leer una página, no podrán encontrarla ni citarla en sus respuestas.
- Qué alimenta
- Google Search y AI Overviews
Qué cambia al bloquearlo
Si bloqueas Googlebot, tus páginas no podrán aparecer ni citarse en las respuestas de búsqueda de Google Search y AI Overviews.
Reglas de robots.txt para Googlebot
robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).
Para permitirle el acceso
User-agent: Googlebot
Allow: /Para bloquearle el acceso
User-agent: Googlebot
Disallow: /¿Tu sitio le permite el acceso?
La comprobación de rastreadores solo lee robots.txt para Googlebot; no envía ninguna solicitud haciéndose pasar por él.