Generator pliku robots.txt dla AI

Wybierz, które roboty AI mogą czytać twoją stronę. Dostosuj gotowy zestaw reguł i pobierz je, aby połączyć je z istniejącym plikiem robots.txt.

Bezpłatnie i bez rejestracji. Wybrane ustawienia zapisują się w adresie URL tej strony, więc możesz je udostępnić.

Gotowe ustawienia

OAI-SearchBot

OpenAI: Wyszukiwanie w ChatGPT

Claude-SearchBot

Anthropic: Wyszukiwanie w Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri i Spotlight

DuckAssistBot

DuckDuckGo: Odpowiedzi DuckDuckGo

MistralAI-Index

Mistral: Wyszukiwanie Vibe

Meta-WebIndexer

Meta: Wyszukiwanie Meta AI

Amzn-SearchBot

Amazon: Wyszukiwarka Alexa

YouBot

You.com: Odpowiedzi You.com

Roboty działające na żądanie użytkownika

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Roboty treningowe

GPTBot

OpenAI: przyszłe modele OpenAI

ClaudeBot

Anthropic: przyszłe modele Claude

Google-Extended

Google: Trenowanie i ugruntowywanie odpowiedzi Gemini

Applebot-Extended

Apple: Trenowanie Apple Intelligence

MistralAI-Training

Mistral: przyszłe modele Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Produkty i modele Amazon

CCBot

Common Crawl: otwarty zbiór danych, na którym trenuje się większość modeli

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: historyczne ustawienie w robots.txt

W pliku nie ma Googlebot ani Bingbot. Indeksują one strony również na potrzeby Google Search i Bing, więc nadal obowiązują je reguły z grupy User-agent: *. Aby wykluczyć swoje strony z trenowania Gemini i używania ich jako źródeł odpowiedzi, zablokuj Google-Extended.

Opcjonalnie. Jedna ścieżka w wierszu, maksymalnie 20 wierszy. Każdą ścieżkę zacznij od / i nie używaj spacji ani znaku #. Te ścieżki znajdą się w udostępnianym adresie URL.

Twoje reguły robots.txt dla AI

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Umieść te reguły w pliku robots.txt w katalogu głównym witryny i zachowaj istniejącą grupę User-agent: *, jeśli ją masz.

Sprawdź, które roboty mają teraz dostęp do twojej witryny

Możemy też ustawić za ciebie robots.txt, reguły CDN i mapę witryny zgodnie z twoim wyborem, a potem sprawdzić je ponownie. Zobacz konfigurację dostępu crawlerów AI

Ten bezpłatny generator tworzy reguły robots.txt dla robotów z katalogu AIGROW. Domyślnie dopuszcza roboty wyszukiwarek i roboty otwierające strony na żądanie, a blokuje roboty zbierające dane do trenowania modeli. Wybierz inny gotowy zestaw reguł lub zmień ustawienia poszczególnych robotów, dodaj ścieżki do wykluczenia, a następnie skopiuj lub pobierz reguły dla swojej strony.

Jak to działa

Wybierz ustawienia początkowe
Domyślnie dostęp mają roboty wyszukiwarek oraz roboty otwierające strony na żądanie. Roboty zbierające dane do trenowania modeli są blokowane. Możesz zezwolić wszystkim robotom na dostęp, zablokować wszystkie albo ustawić reguły dla każdego z osobna.
Jedna grupa dla tych samych reguł
Roboty objęte tymi samymi regułami trafiają do jednej grupy z kilkoma wierszami User-agent. Nazwy pochodzą z katalogu robotów AI. Googlebot i Bingbot są pominięte, ponieważ indeksują strony także na potrzeby Google Search i Bing.
Ścieżki dotyczą każdej grupy
Zgodnie z RFC 9309 robot wymieniony w osobnej grupie nie dziedziczy reguł grupy User-agent: *. Dodatkowe ścieżki Disallow są dodawane do każdej grupy AI. Pozostałe ścieżki są dostępne dla robotów, którym zezwolisz na dostęp.
Zachowaj resztę pliku
Generator tworzy tylko grupy reguł dla AI. Zachowaj istniejącą grupę User-agent: * i pozostałe wpisy, w tym linki do map witryny. Zastąp stare grupy dotyczące tych samych robotów i przenieś ścieżki, które nadal chcesz wykluczać.

Pytania o roboty AI

Tworzy grupy User-agent z regułami Allow lub Disallow dla robotów z katalogu robotów AI. Pomija Googlebot i Bingbot, ponieważ indeksują strony także na potrzeby Google Search i Bing. Roboty objęte tymi samymi regułami trafiają do jednej grupy. Możesz skopiować tekst lub pobrać go jako plik robots.txt, a następnie dodać do istniejącego pliku.

Pełnią różne funkcje i mają różne nazwy. Roboty wyszukiwarek budują indeks, który asystent przeszukuje. Roboty działające na żądanie otwierają stronę, gdy ktoś o nią poprosi. Roboty zbierające dane do trenowania gromadzą strony na potrzeby przyszłych modeli, dlatego możesz ustawić dla nich osobne reguły.

robots.txt zawiera prośbę skierowaną do robotów, opisaną w dokumentacji ich operatorów. Plik określa reguły, których przestrzegania oczekujesz.

W katalogu głównym witryny, na przykład pod adresem https://example.com/robots.txt. Jeśli masz już tam plik, zachowaj grupę User-agent: * i pozostałe wpisy, a grupy reguł dla AI zaktualizuj na podstawie wygenerowanego tekstu.

Czy asystenci AI mogą czytać strony twojej firmy?

Uruchom bezpłatny skan, aby sprawdzić dostęp i zobaczyć, co asystenci mówią o twojej firmie.