Googlebot : un robot de recherche exploité par Google

Googlebot est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Google Search et AI Overviews). Il est exploité par Google.

En un coup d’œil

Exploitant
Google
Nom dans robots.txt
Googlebot
Rôle
Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
À quoi servent les pages collectées
Google Search et AI Overviews

Conséquences du blocage

Si vous bloquez Googlebot, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Google Search et AI Overviews).

Lignes robots.txt pour Googlebot

robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).

Pour l’autoriser

User-agent: Googlebot
Allow: /

Pour le bloquer

User-agent: Googlebot
Disallow: /

Votre site l’autorise-t-il ?

Pour Googlebot, la vérification se limite à la lecture du fichier robots.txt : elle n’envoie aucune requête en se présentant comme ce robot.

Vérifiez si votre site autorise Googlebot

Questions sur Googlebot

Googlebot est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Google Search et AI Overviews). Il est exploité par Google.

Seulement si vous ne souhaitez pas voir vos pages dans les réponses de recherche de ce produit (Google Search et AI Overviews). Son blocage ne change rien pour les robots portant d’autres noms.

Ajoutez un groupe portant son nom et une règle pour tous les chemins : « User-agent: Googlebot », puis « Disallow: / ». Pour l’autoriser, écrivez plutôt « Allow: / ».