Outil de vérification des robots d’exploration IA

Utilisez cet outil pour vérifier les règles robots.txt, les signaux d’indexation et les réponses HTTP des robots d’exploration IA. Repérez les accès bloqués avant de modifier les règles de votre site.

Gratuit, sans compte ni adresse e-mail. La vérification prend quelques secondes.

La page d’accueil ou toute autre page. Seule cette page sera vérifiée.

Cet outil gratuit de vérification de l’accès des robots d’exploration IA lit robots.txt, vérifie les signaux meta robots et X-Robots-Tag, puis envoie des requêtes avec les user agents de ces robots. Chaque ligne affiche la règle applicable et la réponse HTTP. Les résultats « autorisé », « bloqué » et « incertain » décrivent ce que nous avons observé depuis notre serveur. Ils ne prouvent pas qu’un vrai robot recevra la même réponse.

Comment fonctionne cette vérification

robots.txt
Le fichier robots.txt du site est lu une seule fois. Les règles applicables à chaque robot pour cette page sont ensuite déterminées selon la RFC 9309 : le groupe qui nomme le robot prime sur celui destiné à tous les robots.
Une requête par robot
La page est demandée avec le user agent de chaque robot. Le tableau indique le statut HTTP, tout éventuel défi de sécurité et la chaîne d’identification envoyée. Google-Extended et Applebot-Extended sont des jetons de contrôle qui ne donnent lieu à aucune requête distincte. Pour Googlebot et Bingbot, seul robots.txt est vérifié.
Requête de contrôle
La page est également demandée comme le ferait un navigateur ordinaire. Si cette requête est aussi refusée, les requêtes des robots ne permettent pas de conclure à un blocage propre à ces robots : seul robots.txt est alors pris en compte.
La limite du test
Nos requêtes proviennent de notre adresse. Un pare-feu qui vérifie les adresses IP publiées d’un robot peut refuser notre requête tout en laissant passer le vrai robot. C’est pourquoi Googlebot et Bingbot sont évalués uniquement d’après robots.txt.

Chaque robot du tableau possède sa propre fiche dans la liste des robots d’exploration IA.

Créez un fichier robots.txt complet pour l’IA · Vérifier la longueur du titre et de la description

Questions sur les robots d’exploration IA

Saisissez votre domaine ou l’adresse complète d’une page, puis sélectionnez « Vérifier la page ». Consultez le statut de chaque robot, la ligne robots.txt applicable et la réponse HTTP. Corrigez ensuite les restrictions indésirables et relancez le test. Seule la page indiquée est testée. Les résultats peuvent être conservés en cache pendant dix minutes.

Noindex demande aux moteurs de recherche de ne pas inclure une page dans leur index. Noai et noimageai expriment des préférences d’utilisation dont la prise en charge varie selon les opérateurs. Aucun de ces marqueurs n’empêche une requête HTTP. Cet outil présente les signaux observés séparément des réponses liées à robots.txt et au pare-feu.

Les robots de recherche, comme OAI-SearchBot, indexent le contenu utilisé pour répondre aux questions. Les robots déclenchés par une demande récupèrent des pages lorsqu’une personne le demande. Les robots d’entraînement collectent du contenu pour développer des modèles. Vous pouvez définir séparément vos préférences d’entraînement. Google-Extended contrôle aussi l’ancrage des réponses de Gemini, et certains outils de récupération déclenchés par un utilisateur peuvent ignorer robots.txt.

Un CDN, un pare-feu ou un service de protection contre les robots peut refuser les requêtes selon leur user agent avant même que robots.txt soit lu. Certains proposent un réglage propre aux robots d’exploration IA. Le site reste accessible dans un navigateur, si bien que le blocage passe inaperçu.

Non. llms.txt est un fichier proposé pour répertorier les principales pages d’un site à l’intention des modèles de langage. Pour accéder aux pages, les robots vérifiés ici doivent être autorisés par robots.txt et recevoir une réponse du serveur. Un fichier llms.txt ne change rien à ces deux conditions.

Non. Cela permet seulement aux assistants de lire la page. Pour qu’une entreprise soit citée, ce que disent sa page et d’autres sites à son sujet compte aussi.

Découvrez ce que les assistants disent de vous

Le scan gratuit lit votre site, vérifie l’accès des mêmes robots et pose aux assistants les questions que se posent vos acheteurs.