Outil de vérification des robots d’exploration IA
Utilisez cet outil pour vérifier les règles robots.txt, les signaux d’indexation et les réponses HTTP des robots d’exploration IA. Repérez les accès bloqués avant de modifier les règles de votre site.
Gratuit, sans compte ni adresse e-mail. La vérification prend quelques secondes.
Cet outil gratuit de vérification de l’accès des robots d’exploration IA lit robots.txt, vérifie les signaux meta robots et X-Robots-Tag, puis envoie des requêtes avec les user agents de ces robots. Chaque ligne affiche la règle applicable et la réponse HTTP. Les résultats « autorisé », « bloqué » et « incertain » décrivent ce que nous avons observé depuis notre serveur. Ils ne prouvent pas qu’un vrai robot recevra la même réponse.
Comment fonctionne cette vérification
- robots.txt
- Le fichier robots.txt du site est lu une seule fois. Les règles applicables à chaque robot pour cette page sont ensuite déterminées selon la RFC 9309 : le groupe qui nomme le robot prime sur celui destiné à tous les robots.
- Une requête par robot
- La page est demandée avec le user agent de chaque robot. Le tableau indique le statut HTTP, tout éventuel défi de sécurité et la chaîne d’identification envoyée. Google-Extended et Applebot-Extended sont des jetons de contrôle qui ne donnent lieu à aucune requête distincte. Pour Googlebot et Bingbot, seul robots.txt est vérifié.
- Requête de contrôle
- La page est également demandée comme le ferait un navigateur ordinaire. Si cette requête est aussi refusée, les requêtes des robots ne permettent pas de conclure à un blocage propre à ces robots : seul robots.txt est alors pris en compte.
- La limite du test
- Nos requêtes proviennent de notre adresse. Un pare-feu qui vérifie les adresses IP publiées d’un robot peut refuser notre requête tout en laissant passer le vrai robot. C’est pourquoi Googlebot et Bingbot sont évalués uniquement d’après robots.txt.
Chaque robot du tableau possède sa propre fiche dans la liste des robots d’exploration IA.
Créez un fichier robots.txt complet pour l’IA · Vérifier la longueur du titre et de la description
Questions sur les robots d’exploration IA
Découvrez ce que les assistants disent de vous
Le scan gratuit lit votre site, vérifie l’accès des mêmes robots et pose aux assistants les questions que se posent vos acheteurs.