KI-Crawler-Log-Analyse

Analysieren Sie mit diesem Tool, wie oft Bots Ihre Website besuchen, aufgeschlüsselt nach Bot, Pfad, Status und Tag. Gleichen Sie Quell-IP-Adressen lokal mit offiziellen Adressbereichen ab. Ihr Log wird nie hochgeladen.

Server-Log einlesen

Es wird nichts hochgeladen. Ihr Log bleibt auf Ihrem Computer.

Klartext, CSV oder .gz. Bis zu 250 MiB, einschließlich des entpackten Inhalts. Ein Format pro Datei.

Die Beispielzeilen sind fiktiv und dienen nur dazu, den Bericht zu veranschaulichen.

Server-Logs erfassen Anfragen, die Ihren Server erreicht haben. Dieses kostenlose Tool gruppiert bekannte Crawler anhand ihrer User-Agents und zeigt Besuche pro Tag, angeforderte Pfade und Antwortcodes. Ein Besuch belegt einen Abruf, keine Quellenangabe oder Empfehlung. User-Agents lassen sich fälschen. Prüfen Sie daher die Quell-IP-Adressen, bevor Sie die Zahlen als bestätigte Crawler-Besuche werten.

So funktioniert es

Log einlesen
Wählen Sie eine Text-, CSV- oder gzip-Datei aus oder fügen Sie Log-Zeilen ein. Apache- und Nginx-Logs im Combined-Format, Caddy-JSON-Zeilen, Cloudflare-Logpush-JSON und CloudFront-Logs mit #Fields-Header werden automatisch erkannt. CSV-Dateien benötigen Spalten für User-Agent, Pfad, Status und Zeitstempel. Ihre Reihenfolge spielt keine Rolle.
Anfragen zählen
Bekannte Crawler-Kennungen werden nur als vollständige User-Agent-Tokens erkannt. Jeder Betreiber erhält eigene Gesamtzahlen. Andere bekannte Crawler werden unter „Andere Crawler“ zusammengefasst, nicht klassifizierte Anfragen bleiben getrennt. Datumsangaben erscheinen in UTC, und Abfrageparameter werden aus den Pfaden entfernt.
Speicherverbrauch begrenzen
Das Limit beträgt 250 MiB für die Datei und ihren entpackten Inhalt, 256 KiB pro Datensatz, 100.000 unterschiedliche Crawler-Pfade, 100.000 unterschiedliche Fehler-Pfad-Paare über alle Gruppen hinweg und 3.660 Tage pro Gruppe. Sobald ein Limit erreicht ist, bricht die Verarbeitung mit einer Fehlermeldung ab. Die jeweils 20 häufigsten Pfade und Fehlerpfade pro Gruppe werden innerhalb dieser Grenzen exakt ermittelt.
Identität prüfen
Laden Sie zwischengespeicherte offizielle Adresslisten herunter und gleichen Sie die Quell-IP-Adressen anschließend lokal ab. Gemeinsam genutzte Adressbereiche stützen lediglich die Zuordnung zum Betreiber. Fehlende Listen, nicht vorhandene IP-Adressen und veraltete Kopien bleiben sichtbar. Eine Reverse-DNS-Abfrage findet nicht statt.

Fragen zu Crawler-Logs

Nein. Ein Log-Eintrag erfasst eine Anfrage. Er zeigt weder, was ein Assistent geantwortet hat, noch, ob er die Seite als Quelle genannt oder einem Nutzer eine Empfehlung angezeigt hat.

Google-Extended ist eine Kennung zur Steuerung der Nutzung über robots.txt, kein eigener HTTP-Crawler. Die Anfragen stammen von Googlebot. Auch Applebot-Extended steuert nur die Nutzung gecrawlter Inhalte und stellt keine eigenen Anfragen.

Im gewählten Zeitraum gab es möglicherweise keine Besuche. Vielleicht beantwortet auch Ihr CDN Anfragen, bevor sie Ihren Server erreichen. Prüfen Sie neben den Origin-Logs auch die Edge-Logs. Fehlt der User-Agent-Header, ist ebenfalls keine Zuordnung möglich.

Fehlerhafte Datensätze werden gezählt und aus der Zusammenfassung ausgeschlossen. Das erkannte Format gilt für die gesamte Datei. Analysieren Sie Logs mit unterschiedlichen Formaten getrennt.

Verwenden Sie user_agent, path, status und timestamp in beliebiger Reihenfolge. Gängige Alternativen wie UserAgent, uri, status_code, time und Cloudflare-Feldnamen werden ebenfalls erkannt. Felder in Anführungszeichen, maskierte Anführungszeichen und mehrzeilige Felder werden unterstützt.

Weitere Tools

  • KI-Crawler-Check

    Prüfen Sie mit diesem KI-Crawler-Checker robots.txt-Regeln, Indexierungssignale und HTTP-Antworten. Sehen Sie sich blockierte Zugriffe an, bevor Sie die Regeln Ihrer Website ändern.

  • Crawler-IP-Checker

    Vergleichen Sie mit diesem Crawler-IP-Checker bis zu 50 Adressen mit veröffentlichten IP-Bereichen von Bots. Fügen Sie IP-Adressen oder einen Logauszug ein und prüfen Sie, welche Betreiber übereinstimmen.

  • KI-Referral-Traffic in GA4

    Erfassen Sie KI-Referral-Traffic mit einem GA4-Quellenfilter. Wählen Sie Assistenten aus, testen Sie den regulären Ausdruck anhand Ihrer Quellenliste und kopieren Sie ihn in Ihren Bericht.

Prüfen Sie, ob Assistenten Ihr Unternehmen nennen

Crawler-Besuche zeigen, ob Inhalte abgerufen wurden. Der kostenlose Check der KI-Sichtbarkeit zeigt, welche Unternehmen Assistenten in ihren Antworten nennen.

Kostenlosen Check der KI-Sichtbarkeit starten