Generator robots.txt dla AI
Wybierz, które roboty AI mogą odczytywać twoją stronę. Zacznij od gotowego zestawu reguł, zmień ustawienia dowolnego robota i pobierz część pliku robots.txt dotyczącą AI. Bezpłatnie, bez zakładania konta.
Bezpłatnie i bez rejestracji. Wybrane ustawienia zapisują się w adresie URL tej strony, więc możesz je udostępnić.
Twoje reguły robots.txt dla AI
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Umieść te reguły w pliku robots.txt w katalogu głównym witryny i zachowaj istniejącą grupę User-agent: *, jeśli ją masz.
Ten bezpłatny generator robots.txt tworzy reguły dla robotów z katalogu AIGrow. Domyślnie zezwala robotom wyszukującym i otwierającym strony na żądanie na dostęp, a blokuje roboty zbierające dane treningowe. Wybierz inny gotowy zestaw reguł lub zmień ustawienia poszczególnych robotów, dodaj ścieżki do wykluczenia, a następnie skopiuj lub pobierz reguły dla swojej strony.
Jak to działa
- Wybierz zestaw reguł na początek
- Domyślnie dostęp mają roboty wyszukujące oraz te, które otwierają stronę na żądanie. Roboty zbierające dane treningowe są blokowane. Możesz zezwolić na dostęp wszystkim robotom, zablokować je wszystkie lub zmienić ustawienia każdego z osobna.
- Jedna grupa dla tych samych reguł
- Roboty z tymi samymi regułami są umieszczane w jednej grupie z kilkoma wierszami User-agent. Nazwy pochodzą z katalogu robotów AI. Googlebot i Bingbot są pominięte, ponieważ przeszukują też strony na potrzeby Google Search i Bing.
- Ścieżki dotyczą każdej grupy
- Robot wymieniony w grupie nie dziedziczy reguł grupy User-agent: *, zgodnie z RFC 9309. Dodatkowe ścieżki Disallow są dodawane do każdej grupy AI. Pozostałe ścieżki pozostają dostępne dla robotów, którym zezwolisz na dostęp.
- Zachowaj resztę pliku
- Generator tworzy tylko grupy AI. Zachowaj istniejącą grupę User-agent: * i pozostałe wpisy, w tym linki do map witryny. Zastąp stare grupy dotyczące tych samych robotów i przenieś ścieżki, które nadal chcesz wykluczać.
Pytania o roboty AI
Czy asystenci AI mogą odczytać strony twojej firmy?
Uruchom bezpłatny skan, aby sprawdzić dostęp i zobaczyć, co asystenci mówią o twojej firmie.