YouBot : un robot de recherche exploité par You.com
YouBot est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Réponses de You.com). Il est exploité par You.com.
En un coup d’œil
- Exploitant
- You.com
- Nom dans robots.txt
YouBot- Rôle
- Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
- À quoi servent les pages collectées
- Réponses de You.com
Conséquences du blocage
Si vous bloquez YouBot, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Réponses de You.com).
Agent utilisateur
L’agent utilisateur complet, tel qu’il figure dans la documentation de son exploitant. Ce texte apparaît dans les requêtes de YouBot et dans les journaux du serveur.
Mozilla/5.0 (compatible; YouBot/1.0; +https://about.you.com/youbot/)Lignes robots.txt pour YouBot
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: YouBot
Allow: /Pour le bloquer
User-agent: YouBot
Disallow: /Votre site l’autorise-t-il ?
La vérification lit votre fichier robots.txt pour YouBot et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.