Robots.txt-Tester

Testen Sie mit dem Robots.txt-Tester bis zu 50 Pfade. Vergleichen Sie Regeln für Suchmaschinen- und KI-Crawler, prüfen Sie gesperrte Ressourcen und Sitemaps und bearbeiten und testen Sie anschließend einen Entwurf erneut.

Kostenlos, ohne Konto. Zehn Website-Prüfungen pro Stunde.

Zu testende robots.txt

Unser Server liest /robots.txt auf diesem Host. Die Datei kann fünf Minuten lang zwischengespeichert werden.

Ein Pfad oder eine vollständige Adresse. Leer bedeutet die oben angegebene Adresse.

Bis zu 50 Pfade. Wenn Sie hier etwas eintragen, ersetzen diese Pfade den einzelnen Pfad oben. Vollständige URLs müssen zur Website der Live-Datei gehören.

Ein Robots.txt-Tester zeigt, ob ein Crawler eine URL nach den robots.txt-Regeln einer Website abrufen darf. Dieser prüft die Live-Datei oder einen eingefügten Entwurf nach RFC 9309 und den Vorgaben von Google: Es gelten die Regeln der Gruppe für den jeweiligen Crawler, die längste passende Regel entscheidet, und bei Gleichstand hat Allow Vorrang. Die entscheidende Zeile wird angezeigt.

So verwenden Sie dieses Prüftool

Live-Datei lesen oder Entwurf einfügen
Geben Sie eine Website ein, um ihre aktuelle /robots.txt zu lesen, oder fügen Sie einen Entwurf ein, um ihn vor der Veröffentlichung zu testen. Ein eingefügter Entwurf wird nur zum Prüfen der Regeln an unseren Server gesendet. Dafür werden keine weiteren Dateien abgerufen.
Pfad und Crawler auswählen
Geben Sie einen Pfad oder bis zu 50 Pfade ein, jeweils einen pro Zeile. Vergleichen Sie Googlebot, Bingbot und alle aufgeführten KI-Crawler-Kennungen in einer Matrix. Benannte Gruppen werden zusammengeführt, andernfalls gelten die Platzhalterregeln. Vollständige URLs müssen zur Website der Live-Datei gehören.
Entscheidende Regel ablesen
Das längste passende Muster entscheidet, bei Gleichstand hat Allow Vorrang. Platzhalter und Endmarkierungen folgen dem Abgleichsverhalten von Google. Gelesen werden die ersten 500 KiB. Eine 4xx-Antwort außer 429 erlaubt das Crawling. Bei Serverfehlern wird alles gesperrt, ohne von einer zuvor zwischengespeicherten Datei auszugehen.

Fragen zu diesem Prüftool

Eine 404- oder andere 4xx-Antwort bedeutet, dass keine Regeln vorliegen und jeder Crawler alles abrufen darf. Eine 5xx-Antwort, eine Zeitüberschreitung oder eine Bot-Prüfseite ist etwas anderes: Nach RFC 9309 müssen Crawler die gesamte Website als gesperrt behandeln, bis die Datei gelesen werden kann.

Nein. Disallow verhindert das Crawling. Eine gesperrte Seite kann über Links weiterhin indexiert werden, dann allerdings ohne Beschreibung. Wenn eine Seite nicht in der Suche erscheinen soll, erlauben Sie das Crawling und fügen Sie ein noindex-Meta-Tag oder einen X-Robots-Tag-Header hinzu.

Die großen Anbieter geben an, dass sie das tun. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended haben jeweils eine veröffentlichte Kennung. robots.txt bindet nur Crawler, die sich freiwillig daran halten. Wenn Sie Zugriffe zuverlässig blockieren müssen, setzen Sie zusätzlich Firewall-Regeln ein.

Google unterstützt Crawl-delay nicht. Bing und einige andere Crawler berücksichtigen die Angabe. Der Tester markiert die Zeile, damit Sie wissen, dass sie für Googlebot nichts ändert.

Weitere Tools

  • KI-robots.txt-Generator

    Mit diesem KI-robots.txt-Generator legen Sie fest, welche KI-Crawler Ihre Website lesen dürfen. Passen Sie eine Vorlage an und laden Sie die KI-Regeln herunter, um sie in Ihre bestehende Datei einzufügen.

  • Robots.txt-Generator

    Erstellen Sie mit diesem robots.txt-Generator die Datei für Ihre gesamte Website. Beginnen Sie mit den Standardeinstellungen von WordPress, Shopify, Wix oder Squarespace und testen Sie anschließend beliebige Pfade gegen das Ergebnis.

  • AI Overviews-Checker

    Prüfen Sie mit diesem AI Overviews-Checker, ob Googlebot auf eine Seite zugreifen kann und welche Einstellungen für Indexierung und Textauszüge gelten. Lesen Sie die Ergebnisse, bevor Sie Zugriffseinstellungen ändern.

Prüfen Sie, ob KI Ihre Firma empfiehlt

Technische Prüfungen helfen Ihnen, Fehler auf einer Seite zu beheben. Der kostenlose KI-Sichtbarkeitsscan zeigt, welche Antworten für Ihr Unternehmen geprüft wurden und woran Sie als Nächstes arbeiten sollten.

Kostenlosen KI-Sichtbarkeitsscan starten