L’IA peut-elle lire mon site web ?

L’IA peut-elle lire mon site web ? Comparez le texte du HTML brut, les titres, les liens et les données structurées reçus par différents robots. Vérifiez les règles d’accès et repérez les pages dont le contenu dépend de JavaScript.

Gratuit, sans compte. Dix vérifications par heure au total pour les outils de lisibilité par l’IA, de compatibilité mobile et de détection des technologies.

Nous envoyons l’adresse à notre API pour cette vérification. Les résultats peuvent être mis en cache pendant cinq minutes.

Les robots d’IA lisent le HTML envoyé par votre serveur. Dans une étude publiée par Vercel en décembre 2024, les robots utilisés par ChatGPT, Claude et Perplexity n’exécutaient pas JavaScript. Le texte ajouté par des scripts leur échappait donc. Saisissez l’adresse d’une page pour la récupérer comme le feraient quatre robots d’IA et un navigateur, puis comparez le texte, les titres et les liens reçus par chacun.

Comment utiliser cet outil de vérification

Cinq requêtes pour une seule page
Notre serveur demande la page en se présentant comme GPTBot, ClaudeBot, PerplexityBot et OAI-SearchBot, avec le user-agent publié par chaque opérateur, puis comme un navigateur Chrome sur ordinateur. Chaque requête suit jusqu’à trois redirections et lit au maximum 3 MB.
robots.txt est vérifié en premier
Nous lisons le fichier robots.txt du site avant toute requête de robot. Si ce fichier interdit l’accès à un robot, nous ne lui envoyons aucune requête vers la page et affichons la règle qui le bloque.
Directives de page et llms.txt
Chaque ligne de robot affiche les directives restrictives meta robots et X-Robots-Tag, ainsi que la documentation de l’opérateur sur son user-agent. noai et noimageai sont des demandes non standardisées. llms.txt est vérifié comme signal volontaire secondaire. La part de texte affiché après rendu n’est pas mesurée : les comparaisons du nombre de mots reposent sur le HTML brut reçu pour un ordinateur.
Aucun JavaScript n’est exécuté
Le texte, les titres, les liens, le titre de la page, sa description et le JSON-LD proviennent exactement du HTML envoyé par le serveur. Aucun code de la page n’est exécuté. C’est ainsi que les robots de l’étude de Vercel lisaient les pages.
Comment les résultats sont établis
Lisible : au moins 40 mots ont été reçus et rien n’indique que le reste nécessite JavaScript. Partiellement lisible : la page est courte, avec moins de 150 mots et des signes de contenu généré par script, ou contient moins de la moitié des mots reçus pour le navigateur. Coquille vide : aucun mot lisible malgré la présence de scripts, ou moins de 40 mots avec une racine d’application vide, un avertissement JavaScript ou de nombreux scripts intégrés. Bloqué : robots.txt, un refus d’accès ou un défi antibot a arrêté le robot.

Source concernant l’exécution des scripts par les robots d’exploration : Vercel, « The rise of the AI crawler », 17 décembre 2024. Les robots étudiés, ceux de OpenAI, Anthropic, Meta, ByteDance et Perplexity, n’exécutaient pas JavaScript.

Questions sur cet outil de vérification

Dans l’étude de Vercel « The rise of the AI crawler » du 17 décembre 2024, aucun des principaux robots d’IA n’exécutait JavaScript, notamment OAI-SearchBot, ChatGPT-User et GPTBot d’OpenAI, ClaudeBot d’Anthropic et PerplexityBot. ChatGPT et Claude récupéraient les fichiers JavaScript sans les exécuter. Gemini utilise l’infrastructure de Googlebot, qui exécute JavaScript. Le comportement des robots peut changer : refaites le test après une refonte.

Votre navigateur exécute les scripts de la page, qui ajoutent le texte après le chargement. Un robot qui n’exécute pas les scripts ne voit que le HTML initial. Dans une application dont le rendu se fait côté client, ce HTML ne contient qu’un conteneur vide. Le rendu côté serveur, la génération statique ou le prérendu placent le texte final dans ce HTML initial.

Certains sites envoient une version prérendue aux robots et une page construite par scripts aux navigateurs. Le test le signale si un robot reçoit au moins 150 mots tandis que la version destinée au navigateur en contient moins de 40. Veillez à ce que les deux versions présentent le même contenu sur le fond : les moteurs de recherche considèrent qu’un contenu différent pour les robots et les internautes relève du cloaking.

Un pare-feu ou un service de protection contre les robots peut refuser une requête ou afficher une page de vérification avant même qu’elle atteigne le site. Autorisez le robot dans ce service, par exemple dans les paramètres de protection antibot de Cloudflare. Nos requêtes proviennent d’un seul serveur : un blocage ici est un indice fort, mais pas une preuve, de ce que reçoit le véritable robot.

Non. Il montre uniquement ce qu’un robot peut lire sur une page. La mention de votre entreprise par un assistant dépend de nombreuses autres sources. Le scan gratuit de visibilité de l’IA vérifie les réponses réelles.

Outils associés

  • Analyseur des technologies d’un site web

    Utilisez cet outil pour identifier les logiciels d’un site à partir d’indices visibles et du DNS. Examinez les versions divulguées et les preuves, puis comparez deux sites, y compris l’accès des robots d’exploration IA.

  • Vérification des robots d’exploration IA

    Utilisez cet outil pour vérifier les règles robots.txt, les signaux d’indexation et les réponses HTTP des robots d’exploration IA. Repérez les accès bloqués avant de modifier les règles de votre site.

  • Générateur et validateur llms.txt

    Utilisez ce générateur llms.txt pour créer un fichier modifiable à partir d’un site web, d’un sitemap XML ou d’une liste de pages collée. Organisez les sections, vérifiez les descriptions, puis copiez ou téléchargez le Markdown.

Vérifiez si l’IA mentionne votre entreprise

Une page lisible par les robots n’est qu’un point de départ. Le scan gratuit de visibilité de l’IA montre comment les assistants répondent aux questions sur votre entreprise et sur quoi travailler ensuite.

Lancer le scan gratuit de visibilité de l’IA