Claude-SearchBot : un robot de recherche exploité par Anthropic
Claude-SearchBot est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Recherche Claude). Il est exploité par Anthropic.
En un coup d’œil
- Exploitant
- Anthropic
- Nom dans robots.txt
Claude-SearchBot- Rôle
- Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
- À quoi servent les pages collectées
- Recherche Claude
Conséquences du blocage
Si vous bloquez Claude-SearchBot, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Recherche Claude).
Agent utilisateur
L’agent utilisateur complet, tel qu’il figure dans la documentation de son exploitant. Ce texte apparaît dans les requêtes de Claude-SearchBot et dans les journaux du serveur.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; [email protected])Lignes robots.txt pour Claude-SearchBot
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: Claude-SearchBot
Allow: /Pour le bloquer
User-agent: Claude-SearchBot
Disallow: /Votre site l’autorise-t-il ?
La vérification lit votre fichier robots.txt pour Claude-SearchBot et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.