Analyseur de logs des robots d’exploration IA

Utilisez cet analyseur de logs pour compter les visites des robots d’exploration IA par robot, page, code de réponse et jour. Comparez localement les adresses IP sources aux plages officielles. Votre fichier de logs n’est jamais envoyé.

Lire votre journal serveur

Aucun fichier n’est envoyé. Votre journal reste sur votre ordinateur.

Texte brut, CSV ou .gz. Jusqu’à 250 MiB, contenu décompressé compris. Un seul format par fichier.

Ces lignes sont fictives et servent uniquement à illustrer le rapport.

Les logs du serveur enregistrent les requêtes qui lui parviennent. Cet analyseur gratuit regroupe les agents utilisateurs des robots d’exploration connus et affiche les visites par jour, les pages demandées et les codes de réponse. Une visite indique qu’une page a été récupérée, pas qu’elle a été citée ou recommandée. Les agents utilisateurs peuvent être falsifiés : les chiffres restent donc déclaratifs tant que vous n’avez pas vérifié les adresses IP sources.

Comment ça marche

Lire votre fichier de logs
Choisissez un fichier texte, CSV ou gzip, ou collez des lignes. Les logs combinés Apache et Nginx, les lignes JSON de Caddy, les fichiers JSON Cloudflare Logpush et les fichiers CloudFront avec leur en-tête #Fields sont détectés automatiquement. Un CSV doit contenir des colonnes pour l’agent utilisateur, le chemin, le code de réponse et l’horodatage, dans n’importe quel ordre.
Compter les requêtes
Les identifiants des robots connus sont recherchés comme des éléments entiers de l’agent utilisateur. Chaque opérateur dispose de ses propres totaux. Les autres robots connus sont regroupés sous « Autres robots d’exploration » ; les requêtes non classées restent distinctes. Les dates sont affichées en UTC et les paramètres de requête sont retirés des chemins.
Limiter l’utilisation de la mémoire
Les limites sont de 250 MiB pour le fichier comme pour son contenu décompressé, de 256 KiB par enregistrement, de 100 000 chemins distincts demandés par des robots d’exploration, de 100 000 paires distinctes erreur-chemin tous groupes confondus et de 3 660 jours par groupe. L’analyse s’arrête avec une erreur dès qu’une limite est atteinte. Les 20 chemins les plus demandés et les 20 chemins générant le plus d’erreurs par groupe sont comptés exactement dans ces limites.
Vérifier l’identité
Téléchargez les listes officielles d’adresses mises en cache, puis comparez localement les adresses IP sources. Les plages partagées ne font qu’étayer l’identification de l’opérateur. Les listes manquantes, les adresses IP absentes et les copies périmées restent signalées ; aucune recherche DNS inverse n’est effectuée.

Questions sur les journaux des robots d’exploration

Non. Une entrée de log enregistre une requête. Elle ne montre ni la réponse d’un assistant, ni si celui-ci a cité la page ou si un visiteur a vu une recommandation.

Google-Extended est une directive d’utilisation dans robots.txt, pas un robot d’exploration HTTP distinct. Les requêtes sont effectuées par Googlebot. Applebot-Extended régit aussi l’utilisation du contenu exploré, sans effectuer de requêtes distinctes.

La période sélectionnée peut ne contenir aucune visite, ou votre CDN peut répondre aux requêtes avant qu’elles n’atteignent votre serveur. Vérifiez les logs du réseau périphérique ainsi que ceux du serveur d’origine. L’absence d’en-tête d’agent utilisateur empêche également la classification.

Les enregistrements mal formés sont comptabilisés et exclus du récapitulatif. Le format détecté s’applique à l’ensemble du fichier. Analysez séparément les logs de formats différents.

Utilisez user_agent, path, status et timestamp, dans n’importe quel ordre. Les alias courants comme UserAgent, uri, status_code et time, ainsi que les noms de champs Cloudflare, sont également acceptés. Les champs entre guillemets, les guillemets échappés et les champs sur plusieurs lignes sont pris en charge.

Outils associés

  • Vérification des robots d’exploration IA

    Utilisez cet outil pour vérifier les règles robots.txt, les signaux d’indexation et les réponses HTTP des robots d’exploration IA. Repérez les accès bloqués avant de modifier les règles de votre site.

  • Vérificateur d’IP de robots d’exploration

    Comparez jusqu’à 50 adresses IP aux plages publiées par les opérateurs de robots d’exploration. Collez des adresses ou un extrait de journal, puis examinez les correspondances.

  • Trafic référent issu de l’IA dans GA4

    Suivez le trafic référent issu de l’IA avec un filtre de source GA4. Choisissez les assistants, testez l’expression régulière sur votre liste de sources et copiez-la dans votre rapport.

Découvrez si les assistants citent votre entreprise

Les visites des robots montrent qu’ils ont accédé à votre site. Le test gratuit de visibilité dans l’IA révèle les entreprises que les assistants citent dans leurs réponses.

Lancer le test gratuit de visibilité dans l’IA