Testeur robots.txt

Testez jusqu’à 50 chemins avec le testeur robots.txt. Comparez les règles applicables aux robots de recherche et d’IA, repérez les ressources bloquées et les sitemaps, puis modifiez un brouillon et relancez le test.

Gratuit, sans compte. Dix vérifications de sites par heure.

robots.txt à tester

Notre serveur lit /robots.txt sur cet hôte. Le fichier peut être mis en cache pendant cinq minutes.

Un chemin ou une adresse complète. Si le champ est vide, l’adresse ci-dessus est utilisée.

Jusqu’à 50 chemins. Si ce champ est rempli, ils remplacent le chemin unique ci-dessus. Les URL complètes doivent appartenir au même site que le fichier en ligne.

Un testeur robots.txt indique si un robot peut accéder à une URL selon les règles du fichier robots.txt d’un site. Celui-ci lit le fichier en ligne ou un brouillon collé et applique les règles décrites par la RFC 9309 et Google : le groupe du robot s’applique, la règle correspondante la plus longue l’emporte et, en cas d’égalité, Allow prévaut. Il affiche la ligne décisive.

Comment utiliser cet outil de vérification

Lisez le fichier en ligne ou collez un brouillon
Saisissez un site pour lire son fichier /robots.txt en ligne, ou collez un brouillon pour le tester avant publication. Un brouillon collé est envoyé à notre serveur uniquement pour vérifier les règles : aucun contenu n’est récupéré pour ce test.
Choisissez le chemin et le robot
Saisissez un chemin ou jusqu’à 50 chemins, un par ligne. Comparez Googlebot, Bingbot et tous les identifiants de robots d’IA répertoriés dans une même matrice. Les groupes nommés sont fusionnés ; à défaut, les règles génériques s’appliquent. Les URL complètes doivent appartenir au site du fichier en ligne.
Consultez la règle décisive
Le motif correspondant le plus long l’emporte et, en cas d’égalité, Allow prévaut. Les caractères génériques et les ancres de fin suivent le comportement de Google. Seuls les 500 premiers Kio sont lus. Une réponse 4xx, sauf 429, autorise l’exploration ; en cas d’erreur serveur, tout est interdit, sans supposer qu’un ancien fichier est en cache.

Questions sur cet outil de vérification

Une réponse 404 ou toute autre réponse 4xx signifie qu’il n’y a pas de règles : tous les robots peuvent donc accéder à toutes les pages. Une réponse 5xx, une expiration du délai ou une page de contrôle anti-robots est différente : la RFC 9309 demande aux robots de considérer tout le site comme inaccessible jusqu’à ce que le fichier puisse être lu.

Non. Disallow empêche l’exploration, mais une page bloquée peut tout de même être indexée à partir de liens qui y mènent, sans description. Pour exclure une page des résultats de recherche, autorisez son exploration et ajoutez une balise meta noindex ou un en-tête X-Robots-Tag.

Les principaux fournisseurs disent le respecter, et GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended disposent chacun d’un identifiant publié. Robots.txt ne contraint que les robots qui choisissent de le suivre. Si vous avez besoin d’un blocage strict, ajoutez aussi des règles de pare-feu.

Google ne prend pas en charge Crawl-delay. Bing et certains autres robots en tiennent compte. Le testeur signale cette ligne pour vous indiquer qu’elle ne change rien pour Googlebot.

Outils associés

  • Générateur de robots.txt pour l’IA

    Utilisez ce générateur de robots.txt pour choisir quels robots d’exploration IA peuvent lire votre site. Modifiez un préréglage, puis téléchargez les règles à intégrer à votre fichier existant.

  • Générateur de robots.txt

    Utilisez ce générateur de robots.txt pour créer le fichier de l’ensemble de votre site. Partez de la configuration par défaut de WordPress, Shopify, Wix ou Squarespace, puis testez chaque chemin sur le résultat.

  • Vérificateur Google AI Overviews

    Utilisez ce vérificateur Google AI Overviews pour examiner l’accès de Googlebot à une page, son indexation et les règles relatives aux extraits. Lisez les résultats avant de modifier les paramètres d’accès.

Vérifiez si les réponses des IA citent votre entreprise

Les contrôles techniques vous aident à corriger une page. Le scan gratuit de visibilité de l’IA vous montre les réponses vérifiées pour votre entreprise et les prochaines améliorations à apporter.

Lancer le scan gratuit de visibilité de l’IA