Roboty AI: co robi każdy z nich i co zmienia jego zablokowanie

Roboty czytające strony na potrzeby asystentów AI: kto je obsługuje, do czego służą oraz jak je wpuszczać lub blokować w robots.txt.

Roboty AI czytają strony internetowe na potrzeby asystentów AI. Roboty wyszukiwarek, takie jak OAI-SearchBot, budują indeks wykorzystywany przez asystenta w cytowanych odpowiedziach. Roboty działające na żądanie użytkownika, takie jak ChatGPT-User, otwierają stronę, gdy ktoś o to poprosi. Roboty treningowe, takie jak GPTBot, zbierają strony na potrzeby przyszłych modeli. Lista obejmuje 27 robotów wraz z regułami robots.txt dla każdego z nich.

Trzy rodzaje robotów AI

Wyszukiwanie
Roboty wyszukiwarek czytają strony, aby zbudować indeks, który asystent przeszukuje podczas udzielania odpowiedzi. Strony, której nie mogą odczytać, nie znajdą ani nie zacytują w tych odpowiedziach.
Żądanie użytkownika
Roboty działające na żądanie użytkownika otwierają konkretną stronę, gdy ktoś poprosi asystenta o jej przeczytanie. Jeśli nie mogą jej odczytać, asystent nie otworzy jej w tej rozmowie.
Trenowanie
Roboty treningowe zbierają strony na potrzeby przyszłych modeli. Ich zablokowanie nie zatrzymuje robotów pobierających strony na potrzeby odpowiedzi, ponieważ działają one pod innymi nazwami.

Roboty według zastosowania

Każda nazwa jest używana w robots.txt. Otwórz szczegóły robota, aby zobaczyć jego identyfikator User-Agent i reguły.

Roboty wyszukiwarek

Bot indeksującyPodmiot prowadzący stronęDo czego służy
OAI-SearchBotOpenAIWyszukiwanie w ChatGPT
Claude-SearchBotAnthropicWyszukiwanie w Claude
PerplexityBotPerplexityPerplexity
GooglebotGoogleGoogle Search i AI Overviews
BingbotMicrosoftBing i Copilot
ApplebotAppleSiri i Spotlight
DuckAssistBotDuckDuckGoOdpowiedzi DuckDuckGo
MistralAI-IndexMistralWyszukiwanie Vibe
Meta-WebIndexerMetaWyszukiwanie Meta AI
Amzn-SearchBotAmazonWyszukiwarka Alexa
YouBotYou.comOdpowiedzi You.com

Roboty działające na żądanie użytkownika

Bot indeksującyPodmiot prowadzący stronęDo czego służy
ChatGPT-UserOpenAIChatGPT
Claude-UserAnthropicClaude
Perplexity-UserPerplexityPerplexity
MistralAI-UserMistralVibe
Meta-ExternalFetcherMetaMeta AI
Amzn-UserAmazonAlexa

Roboty treningowe

Bot indeksującyPodmiot prowadzący stronęDo czego służy
GPTBotOpenAIprzyszłe modele OpenAI
ClaudeBotAnthropicprzyszłe modele Claude
Google-ExtendedGoogleTrenowanie i ugruntowywanie odpowiedzi Gemini
Applebot-ExtendedAppleTrenowanie Apple Intelligence
MistralAI-TrainingMistralprzyszłe modele Mistral
Meta-ExternalAgentMetaMeta AI
AmazonbotAmazonProdukty i modele Amazon
CCBotCommon Crawlotwarty zbiór danych, na którym trenuje się większość modeli
BytespiderByteDanceDoubao
cohere-aiCoherehistoryczne ustawienie w robots.txt

Szablon robots.txt

robots.txt to zwykły plik tekstowy w katalogu głównym witryny (yoursite.com/robots.txt). Grupa zaczyna się od jednego lub kilku wierszy User-agent z nazwami robotów, po których następują reguły Allow i Disallow dla ścieżek. Robot wymieniony w grupie stosuje reguły grup, w których podano jego nazwę, i ignoruje grupę ogólną dla wszystkich robotów (User-agent: *).

Te reguły wpuszczają wszystkie roboty pobierające strony na potrzeby odpowiedzi. Reguły dotyczące robotów treningowych poprzedzono znakiem #. To ty decydujesz, czy je wpuszczać.

Dodaj te wiersze do pliku robots.txt w katalogu głównym witryny i usuń każdą grupę, która blokuje tym robotom dostęp. Robot wymieniony we własnej grupie stosuje tylko jej reguły, więc skopiuj do niej wszystkie dyrektywy Disallow, które nadal mają go obowiązywać.

# Roboty pobierające strony na potrzeby odpowiedzi
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

# Roboty zbierające dane treningowe: wybór należy do ciebie. Usuń znaki #, aby je wpuścić.
# User-agent: GPTBot
# User-agent: ClaudeBot
# User-agent: Google-Extended
# User-agent: Applebot-Extended
# User-agent: MistralAI-Training
# User-agent: Meta-ExternalAgent
# User-agent: Amazonbot
# User-agent: CCBot
# User-agent: Bytespider
# User-agent: cohere-ai
# Allow: /

Utwórz pełny plik robots.txt dla AI

Które z tych robotów mają dostęp do twojej strony?

robots.txt to jeden ze sposobów blokowania robota. Można go też zablokować w ustawieniach CDN lub zapory sieciowej, a strona nadal będzie wyglądać poprawnie w przeglądarce. Bezpłatny test odczytuje twój plik robots.txt i w kilka sekund wysyła żądania do twojej strony jako poszczególne roboty.

Uruchom bezpłatny test dostępu robotów

Możemy też sprawdzić za ciebie robots.txt, reguły CDN i mapę witryny oraz ustawić je zgodnie z twoim wyborem. Zobacz konfigurację dostępu crawlerów AI

Pytania o roboty AI

Oba roboty obsługuje OpenAI. OAI-SearchBot to robot wyszukiwarki: czyta strony na potrzeby wyszukiwania w ChatGPT. GPTBot to robot treningowy: zbiera strony na potrzeby przyszłych modeli OpenAI. W robots.txt możesz zablokować jednego, a wpuścić drugiego.

Dodaj grupę z nazwą jednego robota lub kilku robotów, a pod nią „Disallow: /”. Robot wymieniony w grupie stosuje reguły grup, w których podano jego nazwę, więc ogólne reguły dla wszystkich robotów (User-agent: *) przestają go dotyczyć.

Roboty treningowe i roboty pobierające strony na potrzeby odpowiedzi działają pod różnymi nazwami. Możesz zablokować te pierwsze, a nadal wpuszczać drugie.

Bezpłatny test sprawdza reguły robots.txt dla wszystkich robotów z tej listy (27 robotów). Następnie wysyła żądanie jako każdy robot, który ma identyfikator User-Agent, i pokazuje, które mają dostęp, a które są blokowane.

Czy asystenci AI mogą czytać twoją stronę?

Bezpłatny test daje odpowiedź w kilka sekund. Bez konta i bez podawania adresu e-mail.