Schnelle Antworten

AIGrow bietet Monitoring der KI-Sichtbarkeit, einen Business-Assistenten, Blog-Veröffentlichungen und klar abgegrenzte Automatisierungsleistungen. Starten Sie mit dem kostenlosen Scan, um das Ergebnis vor einer Zahlung zu prüfen.

Kostenlosen Scan starten

Der Scan ist kostenlos, und die Monitoring-Tarife beginnen bei 29 € pro Monat. Das Betriebsaudit kostet 290 €, das Sichtbarkeitsaudit kostet 490 €. Für individuelle Umsetzungen erhalten Sie vor Beginn der Arbeit einen schriftlich mitgeteilten Preis.

Tarife ansehen

Starten Sie den kostenlosen Scan. Er liest Ihre Website aus, fragt mehrere KI-Assistenten, wonach Ihre Kunden fragen, und weist Sie auf eine Sache hin. Eine Registrierung ist nicht erforderlich, und Sie erfahren, wenn Sie uns nicht brauchen.

Jetzt starten

Ja. Nutzen Sie das Kontaktformular für Fragen zu Produkten, Abrechnung, Support oder Projekten. Beschreiben Sie das Ziel und das beteiligte System, damit die erste Antwort konkret sein kann.

AIGrow kontaktieren
robots.txt-Generator für KI

robots.txt-Generator für KI

Bestimmen Sie, welche KI-Crawler Ihre Website lesen dürfen. Wählen Sie eine Voreinstellung, passen Sie einzelne Crawler an und laden Sie den KI-Teil Ihrer robots.txt herunter. Kostenlos und ohne Konto.

Kostenlos und ohne Anmeldung. Ihre Einstellungen werden in der URL dieser Seite gespeichert, damit Sie sie teilen können.

Voreinstellung

OAI-SearchBot

OpenAI: ChatGPT-Suche

Claude-SearchBot

Anthropic: Claude-Suche

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri und Spotlight

DuckAssistBot

DuckDuckGo: Antworten von DuckDuckGo

Amazonbot

Amazon: Alexa und Rufus

YouBot

You.com: Antworten von You.com

Nutzer-Crawler

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Le Chat

Meta-ExternalFetcher

Meta: Meta AI

Trainings-Crawler

GPTBot

OpenAI: künftige OpenAI-Modelle

ClaudeBot

Anthropic: künftige Claude-Modelle

Google-Extended

Google: Training und Fundierung von Gemini

Applebot-Extended

Apple: Training von Apple Intelligence

Meta-ExternalAgent

Meta: Meta AI

CCBot

Common Crawl: der offene Datensatz, mit dem die meisten Modelle trainiert werden

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: Cohere-Modelle

Googlebot und Bingbot stehen nicht in der Datei. Sie crawlen auch für Google Search und Bing. Deshalb gelten für sie weiterhin die Regeln Ihrer Gruppe User-agent: *. Wenn Ihre Seiten nicht für das Training von Gemini oder als Grundlage für seine Antworten genutzt werden sollen, blockieren Sie Google-Extended.

Optional. Ein Pfad pro Zeile, maximal 20 Zeilen. Jeder Pfad muss mit / beginnen und darf weder Leerzeichen noch # enthalten. Diese Pfade werden in die geteilte URL aufgenommen.

Ihre KI-Regeln für robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Fügen Sie diese Regeln in die robots.txt im Stammverzeichnis Ihrer Website ein und behalten Sie eine bestehende Gruppe User-agent: * bei.

Prüfen Sie, welche Crawler Ihre Website derzeit zulässt

Dieser kostenlose robots.txt-Generator für KI erstellt Regeln für die Crawler im AIGrow-Verzeichnis. Standardmäßig lässt er Such-Crawler und Crawler zu, die Seiten auf Anfrage öffnen, und blockiert Trainings-Crawler. Wählen Sie eine andere Voreinstellung oder passen Sie einzelne Crawler an, legen Sie auszuschließende Pfade fest und kopieren oder laden Sie die Regeln für Ihre Website herunter.

So funktioniert es

Wählen Sie eine Voreinstellung
Die Standardeinstellung lässt Such-Crawler und Crawler zu, die Seiten auf Anfrage öffnen, und blockiert Trainings-Crawler. Sie können alle Crawler zulassen, alle blockieren oder die Regeln für jeden einzeln anpassen.
Gleiche Regeln, eine Gruppe
Crawler mit denselben Regeln werden in einer Gruppe mit mehreren User-agent-Zeilen zusammengefasst. Die Namen stammen aus dem Verzeichnis der KI-Crawler. Googlebot und Bingbot sind nicht enthalten, da sie auch für Google Search und Bing crawlen.
Pfade gelten für jede Gruppe
Ein Crawler, der in einer Gruppe genannt wird, übernimmt laut RFC 9309 nicht die Regeln der Gruppe User-agent: *. Zusätzliche Disallow-Pfade werden jeder KI-Gruppe hinzugefügt. Andere Pfade bleiben für die zugelassenen Crawler erreichbar.
Behalten Sie den Rest Ihrer Datei
Der Generator erstellt nur die KI-Gruppen. Behalten Sie Ihre bestehende Gruppe User-agent: * und andere Einträge einschließlich Sitemap-Links bei. Ersetzen Sie ältere Gruppen für dieselben Crawler und übernehmen Sie die Pfade, die weiterhin ausgeschlossen bleiben sollen.

Fragen zu KI-Crawlern

Er erstellt User-agent-Gruppen mit Allow- oder Disallow-Regeln für die Crawler im Verzeichnis der KI-Crawler. Googlebot und Bingbot sind ausgenommen, da sie auch für Google Search und Bing crawlen. Crawler mit denselben Regeln werden in einer Gruppe zusammengefasst. Sie können den Text kopieren oder als robots.txt herunterladen und anschließend in Ihre bestehende Datei einfügen.

Sie erfüllen unterschiedliche Aufgaben und haben unterschiedliche Namen. Such-Crawler erstellen den Index, den ein Assistent durchsucht. Crawler für Nutzeranfragen öffnen eine Seite, wenn jemand danach fragt. Trainings-Crawler sammeln Seiten für künftige Modelle. Deshalb können Sie für sie eigene Regeln festlegen.

robots.txt ist eine Aufforderung an Crawler, wie in der Dokumentation ihrer Betreiber beschrieben. Die Datei legt fest, welche Regeln die Crawler beachten sollen.

Sie gehört ins Stammverzeichnis Ihrer Website, zum Beispiel unter https://example.com/robots.txt. Wenn dort bereits eine Datei liegt, behalten Sie deren Gruppe User-agent: * und die übrigen Einträge bei und aktualisieren Sie die KI-Gruppen mit den generierten Regeln.

Können KI-Assistenten Ihre Unternehmensseiten lesen?

Prüfen Sie mit dem kostenlosen Scan, ob Ihre Seiten zugänglich sind und was Assistenten über Ihr Unternehmen sagen.

Kostenlosen KI-Scan starten