Generator pliku robots.txt dla AI
Wybierz, które roboty AI mogą czytać twoją stronę. Dostosuj gotowy zestaw reguł i pobierz je, aby połączyć je z istniejącym plikiem robots.txt.
Bezpłatnie i bez rejestracji. Wybrane ustawienia zapisują się w adresie URL tej strony, więc możesz je udostępnić.

Twoje reguły robots.txt dla AI
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Umieść te reguły w pliku robots.txt w katalogu głównym witryny i zachowaj istniejącą grupę User-agent: *, jeśli ją masz.
Sprawdź, które roboty mają teraz dostęp do twojej witryny
Możemy też ustawić za ciebie robots.txt, reguły CDN i mapę witryny zgodnie z twoim wyborem, a potem sprawdzić je ponownie. Zobacz konfigurację dostępu crawlerów AI
Ten bezpłatny generator tworzy reguły robots.txt dla robotów z katalogu AIGROW. Domyślnie dopuszcza roboty wyszukiwarek i roboty otwierające strony na żądanie, a blokuje roboty zbierające dane do trenowania modeli. Wybierz inny gotowy zestaw reguł lub zmień ustawienia poszczególnych robotów, dodaj ścieżki do wykluczenia, a następnie skopiuj lub pobierz reguły dla swojej strony.
Jak to działa
- Wybierz ustawienia początkowe
- Domyślnie dostęp mają roboty wyszukiwarek oraz roboty otwierające strony na żądanie. Roboty zbierające dane do trenowania modeli są blokowane. Możesz zezwolić wszystkim robotom na dostęp, zablokować wszystkie albo ustawić reguły dla każdego z osobna.
- Jedna grupa dla tych samych reguł
- Roboty objęte tymi samymi regułami trafiają do jednej grupy z kilkoma wierszami User-agent. Nazwy pochodzą z katalogu robotów AI. Googlebot i Bingbot są pominięte, ponieważ indeksują strony także na potrzeby Google Search i Bing.
- Ścieżki dotyczą każdej grupy
- Zgodnie z RFC 9309 robot wymieniony w osobnej grupie nie dziedziczy reguł grupy User-agent: *. Dodatkowe ścieżki Disallow są dodawane do każdej grupy AI. Pozostałe ścieżki są dostępne dla robotów, którym zezwolisz na dostęp.
- Zachowaj resztę pliku
- Generator tworzy tylko grupy reguł dla AI. Zachowaj istniejącą grupę User-agent: * i pozostałe wpisy, w tym linki do map witryny. Zastąp stare grupy dotyczące tych samych robotów i przenieś ścieżki, które nadal chcesz wykluczać.
Pytania o roboty AI
Czy asystenci AI mogą czytać strony twojej firmy?
Uruchom bezpłatny skan, aby sprawdzić dostęp i zobaczyć, co asystenci mówią o twojej firmie.