KI-Crawler-Checker

Prüfen Sie mit diesem KI-Crawler-Checker robots.txt-Regeln, Indexierungssignale und HTTP-Antworten. Sehen Sie sich blockierte Zugriffe an, bevor Sie die Regeln Ihrer Website ändern.

Kostenlos, ohne Konto und ohne E-Mail-Adresse. Die Prüfung dauert einige Sekunden.

Die Startseite oder eine beliebige andere Seite. Es wird nur diese eine Seite geprüft.

Dieser kostenlose KI-Crawler-Zugriffscheck liest die robots.txt, prüft Meta-Robots- und X-Robots-Tag-Signale und sendet Anfragen mit den User-Agents von KI-Crawlern. Jede Zeile zeigt die zutreffende Regel und die HTTP-Antwort. Die Ergebnisse „erlaubt“, „blockiert“ und „unklar“ beschreiben, was wir von unserem Server aus beobachtet haben. Sie beweisen nicht, dass ein echter Crawler dieselbe Antwort erhält.

So funktioniert die Prüfung

robots.txt
Die robots.txt der Website wird einmal gelesen. Anschließend werden die Regeln für jeden Crawler auf die Seite angewendet, wie in RFC 9309 beschrieben: Die Gruppe, die den Crawler ausdrücklich nennt, hat Vorrang vor der Gruppe für alle Crawler.
Anfrage als jeweiliger Crawler
Die Seite wird mit dem User-Agent jedes Crawlers angefragt. Die Tabelle zeigt den HTTP-Status, etwaige Sicherheitsabfragen und den gesendeten User-Agent-String. Google-Extended und Applebot-Extended sind Steuerungskennungen, für die keine separate Anfrage gesendet wird. Googlebot und Bingbot werden nur anhand der robots.txt geprüft.
Kontrollanfrage
Die Seite wird auch wie von einem gewöhnlichen Browser angefragt. Wird auch diese Anfrage abgelehnt, sagen die Crawler-Anfragen nichts über eine gezielte Sperre für Crawler aus. Dann wird nur die robots.txt bewertet.
Die Einschränkung
Unsere Anfragen kommen von unserer Adresse. Eine Firewall, die veröffentlichte IP-Adressen eines Crawlers prüft, kann unsere Anfrage ablehnen und den echten Crawler trotzdem zulassen. Deshalb werden Googlebot und Bingbot nur anhand der robots.txt bewertet.

Jeder Crawler in der Tabelle hat eine eigene Seite in der Liste der KI-Crawler.

Vollständige robots.txt für KI-Crawler erstellen · Länge von Titel und Beschreibung prüfen

Fragen zu KI-Crawlern

Geben Sie Ihre Domain oder die vollständige Adresse einer Seite ein und wählen Sie „Seite prüfen“. Sehen Sie sich den Status jedes Crawlers, die zutreffende robots.txt-Zeile und die HTTP-Antwort an. Beheben Sie unerwünschte Einschränkungen und prüfen Sie die Seite erneut. Getestet wird nur die angegebene Seite. Ergebnisse können zehn Minuten lang zwischengespeichert werden.

Noindex fordert Suchmaschinen auf, eine Seite nicht in ihren Index aufzunehmen. Noai und noimageai drücken Nutzungspräferenzen aus, die von Betreibern unterschiedlich unterstützt werden. Keines dieser Tags verhindert eine HTTP-Anfrage. Dieser Checker zeigt die beobachteten Signale getrennt von robots.txt- und Firewall-Antworten an.

Such-Crawler wie OAI-SearchBot indexieren Inhalte für Antworten. Crawler für Nutzeranfragen rufen Seiten ab, wenn jemand danach fragt. Trainings-Crawler sammeln Inhalte für die Modellentwicklung. Ihre Vorgaben für das Training können Sie getrennt festlegen. Google-Extended steuert außerdem, ob Inhalte für die Fundierung von Gemini-Antworten genutzt werden dürfen. Manche durch Nutzeranfragen ausgelösten Abrufe ignorieren möglicherweise die robots.txt.

Ein CDN, eine Firewall oder ein Bot-Schutzdienst kann Anfragen anhand des User-Agents ablehnen, noch bevor die robots.txt gelesen wird. Manche bieten dafür eine eigene Einstellung für KI-Crawler. Im Browser lässt sich die Website weiterhin öffnen, sodass die Sperre unbemerkt bleibt.

Nein. llms.txt ist eine vorgeschlagene Datei, die die wichtigsten Seiten einer Website für Sprachmodelle auflistet. Für die hier geprüften Crawler müssen die robots.txt den Zugriff erlauben und der Server die Seite ausliefern. Eine llms.txt-Datei ändert daran nichts.

Nein. Dadurch können die Assistenten die Seite lediglich lesen. Ob sie ein Unternehmen nennen, hängt davon ab, was auf der Seite und auf anderen Websites darüber steht.

Erfahren Sie, was Assistenten über Sie sagen

Der kostenlose Scan liest Ihre Website, prüft dieselben Crawler und stellt Assistenten die Fragen, die Ihre potenziellen Kunden stellen.