Googlebot : un robot de recherche exploité par Google
Googlebot est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Google Search et AI Overviews). Il est exploité par Google.
En un coup d’œil
- Exploitant
- Nom dans robots.txt
Googlebot- Rôle
- Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
- À quoi servent les pages collectées
- Google Search et AI Overviews
Conséquences du blocage
Si vous bloquez Googlebot, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Google Search et AI Overviews).
Lignes robots.txt pour Googlebot
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: Googlebot
Allow: /Pour le bloquer
User-agent: Googlebot
Disallow: /Votre site l’autorise-t-il ?
Pour Googlebot, la vérification se limite à la lecture du fichier robots.txt : elle n’envoie aucune requête en se présentant comme ce robot.