KI-robots.txt-Generator

Mit diesem KI-robots.txt-Generator legen Sie fest, welche KI-Crawler Ihre Website lesen dürfen. Passen Sie eine Vorlage an und laden Sie die KI-Regeln herunter, um sie in Ihre bestehende Datei einzufügen.

Kostenlos und ohne Anmeldung. Ihre Einstellungen werden in der URL dieser Seite gespeichert, damit Sie sie teilen können.

Voreinstellung

OAI-SearchBot

OpenAI: ChatGPT-Suche

Claude-SearchBot

Anthropic: Claude-Suche

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri und Spotlight

DuckAssistBot

DuckDuckGo: Antworten von DuckDuckGo

MistralAI-Index

Mistral: Vibe-Suche

Meta-WebIndexer

Meta: Meta AI-Suche

Amzn-SearchBot

Amazon: Alexa-Suche

YouBot

You.com: Antworten von You.com

Nutzer-Crawler

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Trainings-Crawler

GPTBot

OpenAI: künftige OpenAI-Modelle

ClaudeBot

Anthropic: künftige Claude-Modelle

Google-Extended

Google: Training und Fundierung von Gemini

Applebot-Extended

Apple: Training von Apple Intelligence

MistralAI-Training

Mistral: künftige Mistral-Modelle

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Amazon-Produkte und -Modelle

CCBot

Common Crawl: der offene Datensatz, mit dem die meisten Modelle trainiert werden

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: Frühere robots.txt-Präferenz

Googlebot und Bingbot stehen nicht in der Datei. Sie crawlen auch für Google Search und Bing. Deshalb gelten für sie weiterhin die Regeln Ihrer Gruppe User-agent: *. Wenn Ihre Seiten nicht für das Training von Gemini oder als Grundlage für seine Antworten genutzt werden sollen, blockieren Sie Google-Extended.

Optional. Ein Pfad pro Zeile, maximal 20 Zeilen. Jeder Pfad muss mit / beginnen und darf weder Leerzeichen noch # enthalten. Diese Pfade werden in die geteilte URL aufgenommen.

Ihre KI-Regeln für robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Fügen Sie diese Regeln in die robots.txt im Stammverzeichnis Ihrer Website ein und behalten Sie eine bestehende Gruppe User-agent: * bei.

Prüfen Sie, welche Crawler Ihre Website derzeit zulässt

Wir können auch robots.txt, Ihre CDN-Regeln und Ihre Sitemap nach Ihren Vorgaben für Sie einstellen und anschließend erneut prüfen. Einrichtung des KI-Crawler-Zugriffs ansehen

Dieser kostenlose KI-robots.txt-Generator erstellt Regeln für die Crawler im AIGROW Verzeichnis. Standardmäßig erlaubt er Such-Crawler und Crawler, die Seiten auf Anfrage öffnen, und blockiert Trainings-Crawler. Wählen Sie eine andere Vorlage oder passen Sie einzelne Crawler an, geben Sie auszuschließende Pfade an und kopieren oder laden Sie die Regeln für Ihre Website herunter.

So funktioniert es

Wählen Sie eine Vorlage
Die Standardeinstellung erlaubt Such-Crawler und Crawler, die Seiten auf Anfrage öffnen, und blockiert Trainings-Crawler. Sie können alle Crawler erlauben, alle blockieren oder jeden einzeln einstellen.
Gleiche Regeln, eine Gruppe
Crawler mit denselben Regeln stehen in einer gemeinsamen Gruppe mit mehreren User-agent-Zeilen. Die Namen stammen aus dem KI-Crawler-Verzeichnis. Googlebot und Bingbot bleiben außen vor, da sie auch für Google Search und Bing crawlen.
Pfade gelten für jede Gruppe
Ein Crawler, der in einer eigenen Gruppe steht, übernimmt laut RFC 9309 nicht die Regeln der Gruppe User-agent: *. Zusätzliche Disallow-Pfade werden jeder KI-Gruppe hinzugefügt. Andere Pfade bleiben für die erlaubten Crawler zugänglich.
Behalten Sie den Rest Ihrer Datei
Der Generator erstellt nur die KI-Gruppen. Behalten Sie Ihre bestehende Gruppe User-agent: * und alle anderen Einträge, einschließlich der Sitemap-Links. Ersetzen Sie alte Gruppen für dieselben Crawler und übernehmen Sie die Pfade, die weiterhin ausgeschlossen bleiben sollen.

Fragen zu KI-Crawlern

Er erstellt User-agent-Gruppen mit Allow- oder Disallow-Regeln für die Crawler im KI-Crawler-Verzeichnis. Googlebot und Bingbot sind ausgenommen, da sie auch für Google Search und Bing crawlen. Crawler mit denselben Regeln stehen in einer gemeinsamen Gruppe. Sie können den Text kopieren oder als robots.txt herunterladen und Ihrer bestehenden Datei hinzufügen.

Sie erfüllen unterschiedliche Aufgaben und haben unterschiedliche Namen. Such-Crawler bauen den Index auf, den ein Assistent durchsucht. Crawler für Nutzeranfragen öffnen eine Seite, wenn jemand danach fragt. Trainings-Crawler sammeln Seiten für künftige Modelle. Deshalb können Sie für sie getrennte Regeln festlegen.

robots.txt richtet eine Aufforderung an Crawler, wie in der Dokumentation ihrer Betreiber beschrieben. Die Datei legt fest, welche Regeln sie befolgen sollen.

Sie liegt im Stammverzeichnis Ihrer Website, zum Beispiel unter https://example.com/robots.txt. Falls dort bereits eine Datei liegt, behalten Sie deren Gruppe User-agent: * und alle anderen Einträge bei und aktualisieren Sie die KI-Gruppen mit den erzeugten Regeln.

Können KI-Assistenten die Seiten Ihres Unternehmens lesen?

Prüfen Sie den Zugriff mit dem kostenlosen Scan und erfahren Sie, was Assistenten über Ihr Unternehmen sagen.