Amazonbot : un robot d’entraînement exploité par Amazon
Amazonbot est un robot d’entraînement. Il collecte des pages pour ce produit ou service (Produits et modèles Amazon). Il est exploité par Amazon.
En un coup d’œil
- Exploitant
- Amazon
- Nom dans robots.txt
Amazonbot- Rôle
- Entraînement. Les robots d’entraînement collectent des pages pour les futurs modèles. Les bloquer n’empêche pas les robots qui récupèrent des pages pour répondre de fonctionner : ils portent d’autres noms.
- À quoi servent les pages collectées
- Produits et modèles Amazon
Conséquences du blocage
Si vous bloquez Amazonbot, vos pages seront exclues de sa collecte pour ce produit ou service (Produits et modèles Amazon). Les robots qui récupèrent des pages pour répondre portent d’autres noms et peuvent donc toujours lire votre site.
Agent utilisateur
Un agent utilisateur représentatif pour Amazonbot. Nous nous appuyons sur la documentation des opérateurs lorsqu’une chaîne complète y est publiée. Les versions et les caractéristiques du navigateur peuvent varier dans les journaux de serveur réels.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Lignes robots.txt pour Amazonbot
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: Amazonbot
Allow: /Pour le bloquer
User-agent: Amazonbot
Disallow: /Votre site l’autorise-t-il ?
La vérification lit votre fichier robots.txt pour Amazonbot et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.