Robots.txt-Generator

Erstellen Sie mit diesem robots.txt-Generator die Datei für Ihre gesamte Website. Beginnen Sie mit den Standardeinstellungen von WordPress, Shopify, Wix oder Squarespace und testen Sie anschließend beliebige Pfade gegen das Ergebnis.

Kostenlos, ohne Konto. Die Datei wird in Ihrem Browser erstellt und nichts wird gesendet.

Ausgangspunkt

Jeder Crawler kann jeden Pfad aufrufen. Tragen Sie unten die Pfade ein, die ausgeschlossen werden sollen.

Optional. Wird für die Sitemap-Zeilen und den Link zum robots.txt-Tester verwendet.

Gruppe 1

* steht für alle Crawler ohne eigene Gruppe. Weitere Beispiele: Googlebot, Bingbot.

Auszuschließende Pfade, einer pro Zeile, etwa /admin/ oder /*?sort=.

Ausnahmen innerhalb eines gesperrten Pfads, eine pro Zeile.

Optional. Google ignoriert sie. Bing berücksichtigt 1 bis 30 Sekunden.

Vollständige Adressen. Sitemap-Zeilen gelten für alle Crawler.

Ihre robots.txt

Vom Parser erneut eingelesen: 1 Gruppe, 0 Regeln, 0 Sitemap-Zeilen, 64 Byte.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Pfad testen

Zugelassen Googlebot hat keine eigene Gruppe und folgt der *-Gruppe. Für diesen Pfad greift keine Regel, er ist also erlaubt.

Eine robots.txt-Datei liegt im Stammverzeichnis einer Website und teilt Crawlern mit, welche Pfade sie abrufen dürfen. Dieser Generator erstellt Gruppen für User-Agents, Allow- und Disallow-Regeln sowie Sitemap-Zeilen. Anschließend liest er die Datei mit demselben RFC-9309-Parser ein, den unser robots.txt-Tester verwendet. So können Sie einen Pfad testen, bevor Sie die Datei hochladen.

So funktioniert es

Gruppen und Regeln
Jede Gruppe nennt einen oder mehrere User-Agents, die Pfade, die sie nicht abrufen dürfen (Disallow), und Ausnahmen (Allow). Ein Pfad beginnt mit / oder *, und $ markiert das Ende einer URL. Ein Crawler befolgt die Gruppe, die ihn nennt. Gibt es keine, gilt für ihn die *-Gruppe.
Standardeinstellungen der Plattformen
Die WordPress-Vorlage entspricht der Datei, die WordPress selbst erstellt. Die Vorlagen für Shopify, Wix und Squarespace übernehmen die Standarddateien, die Websites auf diesen Plattformen im Oktober 2026 bereitstellten. Bei Shopify erfolgen Änderungen über die Theme-Vorlage robots.txt.liquid, bei Wix über den robots.txt-Editor in den SEO-Einstellungen. Squarespace dokumentiert keine Möglichkeit, eine eigene Datei hochzuladen. Die Vorlage dient dort also nur als Referenz.
Crawl-Delay
Google ignoriert Crawl-delay. Bing wertet den Wert als Zeitfenster von 1 bis 30 Sekunden. Der Generator akzeptiert ganze Sekunden von 1 bis 30 und schreibt die Zeile nur in die Gruppen, für die Sie einen Wert festlegen.
Vor dem Kopieren geprüft
Die fertige Datei wird mit dem RFC-9309-Parser unseres robots.txt-Testers erneut eingelesen. Wenn eine Zeile anders verstanden würde als beabsichtigt oder die Datei das Limit von Google von 500 KiB überschreitet, weist die Seite darauf hin. Der Pfadtest zeigt, welche Zeile für einen bestimmten Crawler entscheidet.

Fragen zu robots.txt

Nein. Die Datei verhindert das Crawlen. Google kann eine gesperrte URL trotzdem ohne ihren Inhalt indexieren, wenn andere Seiten darauf verlinken. Damit eine Seite nicht in den Suchergebnissen erscheint, lassen Sie das Crawlen zu und fügen ein noindex-Robots-Meta-Tag oder einen X-Robots-Tag-Header hinzu.

Im Stammverzeichnis des Hosts, zum Beispiel unter https://example.com/robots.txt. Jede Subdomain und jedes Protokoll benötigt eine eigene Datei. Eine Datei in einem Unterordner wird ignoriert. Bei Shopify, Wix und Squarespace stellt die Plattform die Datei bereit. Änderungen erfolgen daher über ihre Einstellungen oder das Theme.

Eine Gruppe braucht mindestens eine Regelzeile. Ein leeres Disallow erlaubt alles und verhindert, dass die User-Agents der nächsten Gruppe dieser Gruppe zugeordnet werden.

Google und RFC 9309 wählen die spezifischste Regel, also die mit dem längsten Pfad. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. Der Pfadtest zeigt die entscheidende Zeile.

Fügen Sie für jeden Crawler eine Gruppe hinzu oder nutzen Sie den KI-robots.txt-Generator. Er listet KI-Crawler nach Zweck auf und erstellt die passenden Zeilen. Fügen Sie diese Zeilen unter Ihren bestehenden Gruppen ein.

Weitere Tools

  • Robots.txt-Tester

    Testen Sie mit dem Robots.txt-Tester bis zu 50 Pfade. Vergleichen Sie Regeln für Suchmaschinen- und KI-Crawler, prüfen Sie gesperrte Ressourcen und Sitemaps und bearbeiten und testen Sie anschließend einen Entwurf erneut.

  • KI-robots.txt-Generator

    Mit diesem KI-robots.txt-Generator legen Sie fest, welche KI-Crawler Ihre Website lesen dürfen. Passen Sie eine Vorlage an und laden Sie die KI-Regeln herunter, um sie in Ihre bestehende Datei einzufügen.

  • SEO-Check

    Prüfen Sie mit diesem SEO-Check bis zu 25 Seiten auf Crawling-Probleme und Probleme auf einzelnen Seiten. Sehen Sie betroffene URLs und eine Liste mit Verbesserungen an oder fügen Sie eine kleine Stichprobe eines Wettbewerbers hinzu.

Prüfen Sie, wie KI-Assistenten Ihr Unternehmen darstellen

Seiten, die Crawler lesen und deren Links sie folgen können, bilden die Grundlage. Der kostenlose KI-Sichtbarkeitsscan zeigt, wie Assistenten Fragen zu Ihrem Unternehmen beantworten und woran Sie als Nächstes arbeiten können.

Kostenlosen KI-Sichtbarkeitsscan starten