Schnelle Antworten

AIGrow bietet Monitoring der KI-Sichtbarkeit, einen Business-Assistenten, Blog-Veröffentlichungen und klar abgegrenzte Automatisierungsleistungen. Starten Sie mit dem kostenlosen Scan, um das Ergebnis vor einer Zahlung zu prüfen.

Kostenlosen Scan starten

Der Scan ist kostenlos, und die Monitoring-Tarife beginnen bei 29 € pro Monat. Das Betriebsaudit kostet 290 €, das Sichtbarkeitsaudit kostet 490 €. Für individuelle Umsetzungen erhalten Sie vor Beginn der Arbeit einen schriftlich mitgeteilten Preis.

Tarife ansehen

Starten Sie den kostenlosen Scan. Er liest Ihre Website aus, fragt mehrere KI-Assistenten, wonach Ihre Kunden fragen, und weist Sie auf eine Sache hin. Eine Registrierung ist nicht erforderlich, und Sie erfahren, wenn Sie uns nicht brauchen.

Jetzt starten

Ja. Nutzen Sie das Kontaktformular für Fragen zu Produkten, Abrechnung, Support oder Projekten. Beschreiben Sie das Ziel und das beteiligte System, damit die erste Antwort konkret sein kann.

AIGrow kontaktieren
KI-Crawler-Check

Können KI-Assistenten Ihre Website lesen?

Geben Sie die Adresse einer Seite ein. Der Check liest ihre robots.txt und ruft die Seite als jeder einzelne KI-Crawler auf. Anschließend sehen Sie, welche Crawler die Seite lesen können und welche abgewiesen werden.

Kostenlos, ohne Konto und ohne E-Mail-Adresse. Die Prüfung dauert einige Sekunden.

Die Startseite oder eine beliebige andere Seite. Es wird nur diese eine Seite geprüft.

Der KI-Crawler-Check liest die robots.txt einer Seite und ruft die Seite jeweils einmal als KI-Crawler auf, etwa als OAI-SearchBot, ChatGPT-User, PerplexityBot und Claude-User. Er zeigt, welche Crawler die Seite lesen dürfen und welche von einer Firewall oder einem CDN abgewiesen werden. Der Check ist kostenlos, erfordert kein Konto und dauert einige Sekunden.

So funktioniert die Prüfung

robots.txt
Die robots.txt der Website wird einmal gelesen. Für jeden Crawler werden die Regeln für die Seite gemäß RFC 9309 angewendet: Die Gruppe, die den Crawler namentlich nennt, hat Vorrang vor der Gruppe für alle Crawler.
Eine Anfrage pro Crawler
Die Seite wird einmal mit dem veröffentlichten User-Agent jedes Crawlers aufgerufen. Wird die Seite ausgeliefert, gilt sie als lesbar. Wird die Anfrage abgelehnt oder eine Prüfseite angezeigt, gilt der Crawler als abgewiesen.
Kontrollanfrage
Die Seite wird auch als gewöhnlicher Browser aufgerufen. Wird diese Anfrage ebenfalls abgelehnt, lassen die Crawler-Anfragen keine Aussage speziell über Crawler zu. Dann wird nur die robots.txt bewertet.
Die Einschränkung
Unsere Anfragen kommen von unserer eigenen Adresse. Eine Firewall, die die veröffentlichten IP-Adressen eines Crawlers prüft, kann unsere Anfrage ablehnen und den echten Crawler trotzdem zulassen. Deshalb werden Googlebot und Bingbot nur anhand der robots.txt bewertet.

Jeder Crawler in der Tabelle hat eine eigene Seite in der Liste der KI-Crawler.

Fragen zu KI-Crawlern

Such-Crawler wie OAI-SearchBot erstellen den Index, aus dem ein Assistent zitiert. Nutzer-Crawler wie ChatGPT-User rufen eine einzelne Seite ab, wenn jemand danach fragt. Trainings-Crawler wie GPTBot sammeln Texte für künftige Modelle. Die Crawler, die Seiten für Antworten abrufen, arbeiten unabhängig davon. Wer einen Trainings-Crawler blockiert, verhindert damit heute keine Antworten. Wer einen Such- oder Nutzer-Crawler blockiert, schon.

Ein CDN, eine Firewall oder ein Bot-Schutzdienst kann Anfragen anhand des User-Agents ablehnen, noch bevor die robots.txt gelesen wird. Manche bieten dafür eine eigene Einstellung für KI-Crawler. Im Browser lässt sich die Website weiterhin öffnen, sodass die Sperre unbemerkt bleibt.

Nein. llms.txt ist ein vorgeschlagenes Dateiformat, das die wichtigsten Seiten einer Website für Sprachmodelle auflistet. Für die Crawler in diesem Check muss die robots.txt den Zugriff erlauben und der Server die Seite ausliefern. Eine llms.txt-Datei ändert an beidem nichts.

Nein. Das bedeutet nur, dass die Assistenten die Seite lesen können. Ob sie ein Unternehmen nennen, hängt davon ab, was auf der Seite und auf anderen Websites darüber steht.

Sehen Sie, was die Assistenten über Sie sagen

Der kostenlose Scan liest Ihre Website, prüft dieselben Crawler und stellt Assistenten die Fragen, die Ihre Käufer stellen.

Kostenlosen KI-Scan starten