KI-Crawler-Checker
Prüfen Sie mit diesem KI-Crawler-Checker robots.txt-Regeln, Indexierungssignale und HTTP-Antworten. Sehen Sie sich blockierte Zugriffe an, bevor Sie die Regeln Ihrer Website ändern.
Kostenlos, ohne Konto und ohne E-Mail-Adresse. Die Prüfung dauert einige Sekunden.
Dieser kostenlose KI-Crawler-Zugriffscheck liest die robots.txt, prüft Meta-Robots- und X-Robots-Tag-Signale und sendet Anfragen mit den User-Agents von KI-Crawlern. Jede Zeile zeigt die zutreffende Regel und die HTTP-Antwort. Die Ergebnisse „erlaubt“, „blockiert“ und „unklar“ beschreiben, was wir von unserem Server aus beobachtet haben. Sie beweisen nicht, dass ein echter Crawler dieselbe Antwort erhält.
So funktioniert die Prüfung
- robots.txt
- Die robots.txt der Website wird einmal gelesen. Anschließend werden die Regeln für jeden Crawler auf die Seite angewendet, wie in RFC 9309 beschrieben: Die Gruppe, die den Crawler ausdrücklich nennt, hat Vorrang vor der Gruppe für alle Crawler.
- Anfrage als jeweiliger Crawler
- Die Seite wird mit dem User-Agent jedes Crawlers angefragt. Die Tabelle zeigt den HTTP-Status, etwaige Sicherheitsabfragen und den gesendeten User-Agent-String. Google-Extended und Applebot-Extended sind Steuerungskennungen, für die keine separate Anfrage gesendet wird. Googlebot und Bingbot werden nur anhand der robots.txt geprüft.
- Kontrollanfrage
- Die Seite wird auch wie von einem gewöhnlichen Browser angefragt. Wird auch diese Anfrage abgelehnt, sagen die Crawler-Anfragen nichts über eine gezielte Sperre für Crawler aus. Dann wird nur die robots.txt bewertet.
- Die Einschränkung
- Unsere Anfragen kommen von unserer Adresse. Eine Firewall, die veröffentlichte IP-Adressen eines Crawlers prüft, kann unsere Anfrage ablehnen und den echten Crawler trotzdem zulassen. Deshalb werden Googlebot und Bingbot nur anhand der robots.txt bewertet.
Jeder Crawler in der Tabelle hat eine eigene Seite in der Liste der KI-Crawler.
Vollständige robots.txt für KI-Crawler erstellen · Länge von Titel und Beschreibung prüfen
Fragen zu KI-Crawlern
Erfahren Sie, was Assistenten über Sie sagen
Der kostenlose Scan liest Ihre Website, prüft dieselben Crawler und stellt Assistenten die Fragen, die Ihre potenziellen Kunden stellen.