Kann KI meine Website lesen?

Kann KI meine Website lesen? Vergleichen Sie Text, Überschriften, Links und strukturierte Daten im ursprünglichen HTML verschiedener Crawler-Anfragen. Prüfen Sie Zugriffsregeln und erkennen Sie leere JavaScript-Seiten.

Kostenlos, kein Konto nötig. Zehn Prüfungen pro Stunde, insgesamt für die Tools zur Prüfung der KI-Lesbarkeit, Mobilfreundlichkeit und Technologie.

Für diese Prüfung senden wir die Adresse an unsere API. Ergebnisse können fünf Minuten lang zwischengespeichert werden.

KI-Crawler lesen das HTML, das Ihr Server ausliefert. In einer Studie von Vercel vom Dezember 2024 führten die Crawler hinter ChatGPT, Claude und Perplexity kein JavaScript aus. Texte, die erst Skripte einfügen, erreichten sie deshalb nicht. Geben Sie eine Seite ein: Wir rufen sie wie vier KI-Crawler und ein Browser ab und zeigen Ihnen, welche Texte, Überschriften und Links jeweils ankamen.

So verwenden Sie dieses Prüftool

Fünf Anfragen für eine Seite
Unser Server ruft die Seite als GPTBot, ClaudeBot, PerplexityBot und OAI-SearchBot ab, jeweils mit dem vom Betreiber veröffentlichten User-Agent. Hinzu kommt eine Anfrage als Chrome-Desktopbrowser. Jede Anfrage folgt bis zu drei Weiterleitungen und liest höchstens 3 MB.
Zuerst kommt robots.txt
Wir lesen die robots.txt der Website vor jeder Crawler-Anfrage. Verbietet sie einem Crawler den Zugriff, schicken wir ihn nicht zur Seite und zeigen die sperrende Regel an.
Seitenanweisungen und llms.txt
Für jeden Crawler zeigen wir einschränkende meta-robots- und X-Robots-Tag-Anweisungen sowie die User-Agent-Dokumentation des Betreibers. noai und noimageai sind nicht standardisierte Anweisungen. llms.txt prüfen wir als schwaches freiwilliges Signal. Den Anteil des gerenderten Textes messen wir nicht; Wortzahlen vergleichen wir anhand des ursprünglichen Desktop-HTML.
JavaScript wird nicht ausgeführt
Text, Überschriften, Links, Titel, Beschreibung und JSON-LD stammen genau aus dem HTML, das der Server ausgeliefert hat. Nichts auf der Seite wird ausgeführt. So lasen auch die Crawler in der Studie von Vercel die Seiten.
So kommen die Bewertungen zustande
Lesbar: Mindestens 40 Wörter kamen an, und nichts deutet darauf hin, dass der übrige Inhalt JavaScript benötigt. Teilweise lesbar: Die Seite ist kurz, hat weniger als 150 Wörter und zeigt Anzeichen für einen per Skript aufgebauten Inhalt, oder sie enthält weniger als die Hälfte der Wörter der Browserversion. Leere Hülle: Es gibt keine lesbaren Wörter, aber Skripte, oder weniger als 40 Wörter zusammen mit einem leeren App-Container, einem JavaScript-Hinweis oder umfangreichen eingebetteten Skripten. Blockiert: robots.txt, eine Zugriffsverweigerung oder eine Bot-Prüfung hat den Crawler gestoppt.

Quelle zur Skriptausführung durch Crawler: Vercel, „The rise of the AI crawler“, 17. Dezember 2024. Die untersuchten Crawler von OpenAI, Anthropic, Meta, ByteDance und Perplexity führten kein JavaScript aus.

Fragen zu diesem Prüftool

Laut der Vercel-Studie „The rise of the AI crawler“ vom 17. Dezember 2024 renderte keiner der großen KI-Crawler JavaScript. Dazu gehörten OpenAIs OAI-SearchBot, ChatGPT-User und GPTBot, Anthropics ClaudeBot sowie PerplexityBot. ChatGPT und Claude riefen JavaScript-Dateien ab, führten sie aber nicht aus. Gemini nutzt die Infrastruktur von Googlebot, die JavaScript rendert. Crawler können sich ändern. Testen Sie Ihre Seite deshalb nach einem Redesign erneut.

Ihr Browser führt die Skripte der Seite aus, die den Text erst nach dem Laden aufbauen. Ein Crawler ohne Skriptausführung sieht nur das erste HTML. Bei einer clientseitig gerenderten App enthält es lediglich einen leeren Container. Serverseitiges Rendering, statische Generierung oder Prerendering schreiben den fertigen Text bereits in dieses erste HTML.

Manche Websites liefern Crawlern eine vorgerenderte Version und Browsern eine Seite, die erst Skripte aufbauen. Der Test weist darauf hin, wenn ein Crawler mindestens 150 Wörter erhält, die Browserversion aber weniger als 40. Beide Versionen sollten inhaltlich übereinstimmen, denn Suchmaschinen werten unterschiedliche Inhalte für Bots und Menschen als Cloaking.

Eine Firewall oder ein Bot-Schutzdienst kann die Anfrage abweisen oder mit einer Prüfseite beantworten, bevor sie die Website erreicht. Lassen Sie den Crawler dort zu, beispielsweise in den Bot-Einstellungen von Cloudflare. Unsere Anfragen kommen von einem einzigen Server. Eine Blockierung hier ist daher ein starkes Indiz, aber kein Beweis dafür, was der echte Crawler erhält.

Nein. Er zeigt nur, was ein Crawler auf einer einzelnen Seite lesen kann. Ob ein Assistent Ihr Unternehmen nennt, hängt von vielen weiteren Quellen ab. Der kostenlose KI-Sichtbarkeitsscan prüft echte Antworten.

Weitere Tools

  • Website-Technologie prüfen

    Erkennen Sie anhand sichtbarer Merkmale und DNS-Daten, welche Software eine Website nutzt. Prüfen Sie offengelegte Versionen und Belege und vergleichen Sie zwei Websites einschließlich Hinweisen zum Zugriff durch KI-Crawler.

  • KI-Crawler-Check

    Prüfen Sie mit diesem KI-Crawler-Checker robots.txt-Regeln, Indexierungssignale und HTTP-Antworten. Sehen Sie sich blockierte Zugriffe an, bevor Sie die Regeln Ihrer Website ändern.

  • llms.txt erstellen und prüfen

    Erstellen Sie mit diesem llms.txt-Generator eine bearbeitbare Datei aus einer Website, einer XML-Sitemap oder einer eingefügten Seitenliste. Ordnen Sie die Abschnitte, prüfen Sie die Beschreibungen und kopieren oder laden Sie anschließend das Markdown herunter.

Prüfen Sie Ihr Unternehmen in KI-Antworten

Eine für Crawler lesbare Seite ist der Ausgangspunkt. Der kostenlose KI-Sichtbarkeitsscan zeigt, wie Assistenten Fragen zu Ihrem Unternehmen beantworten und woran Sie als Nächstes arbeiten sollten.

Kostenlosen KI-Sichtbarkeitsscan starten