Les assistants IA peuvent-ils lire votre site ?
Saisissez l’adresse d’une page. L’outil lit son fichier robots.txt et demande la page en se présentant comme chacun des robots d’exploration IA. Il indique ensuite lesquels peuvent la lire et lesquels sont bloqués.
Gratuit, sans compte ni adresse e-mail. La vérification prend quelques secondes.
L’outil lit le fichier robots.txt d’une page, puis demande cette page une fois en se présentant comme chacun des robots d’exploration IA, notamment OAI-SearchBot, ChatGPT-User, PerplexityBot et Claude-User. Il indique quels robots sont autorisés à la lire et lesquels sont bloqués par un pare-feu ou un CDN. La vérification est gratuite, sans compte, et prend quelques secondes.
Comment fonctionne cette vérification
- robots.txt
- Le fichier robots.txt du site est lu une fois, puis les règles applicables à chaque robot pour cette page sont évaluées selon la RFC 9309 : les règles du groupe qui nomme le robot priment sur celles du groupe destiné à tous les robots.
- Une requête en tant que chaque robot
- La page est demandée une fois avec l’identifiant publié de chaque robot. Si elle est renvoyée, elle est considérée comme lisible ; un refus ou une page de vérification signifie que le robot est bloqué.
- Requête de contrôle
- La page est aussi demandée comme le ferait un navigateur ordinaire. Si cette requête est également refusée, les requêtes des robots ne permettent pas de conclure qu’ils sont spécifiquement bloqués. Seul robots.txt est alors pris en compte.
- Limite de la vérification
- Nos requêtes proviennent de notre adresse. Un pare-feu qui vérifie les adresses IP publiées d’un robot peut refuser notre requête tout en laissant passer le vrai robot. Googlebot et Bingbot sont donc évalués uniquement d’après robots.txt.
Chaque robot du tableau possède sa propre fiche dans la liste des robots d’exploration IA.
Questions sur les robots d’exploration IA
Découvrez ce que les assistants disent de vous
Le scan gratuit lit votre site, vérifie l’accès de ces mêmes robots et pose aux assistants les questions que se posent vos acheteurs.