GPTBot: robot treningowy, za którego odpowiada OpenAI
GPTBot to robot treningowy. Zbiera strony na potrzeby przyszłe modele OpenAI. Za robota odpowiada OpenAI.
W skrócie
- Podmiot prowadzący stronę
- OpenAI
- nazwa robota w robots.txt
GPTBot- Zastosowanie
- Trenowanie. Roboty treningowe zbierają strony na potrzeby przyszłych modeli. Ich zablokowanie nie zatrzymuje robotów pobierających strony na potrzeby odpowiedzi, ponieważ działają one pod innymi nazwami.
- Do czego służy
- przyszłe modele OpenAI
Co zmienia zablokowanie
Jeśli GPTBot nie ma dostępu do twoich stron, przyszłe modele OpenAI nie uwzględni ich w zbieranych danych. Roboty pobierające strony na potrzeby odpowiedzi działają pod innymi nazwami, więc nadal mogą czytać twoją witrynę.
Identyfikator User-Agent
Pełny identyfikator User-Agent z dokumentacji operatora. Żądania wysyłane przez GPTBot zawierają ten tekst, który widać w logach serwera.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotReguły robots.txt: GPTBot
robots.txt to zwykły plik tekstowy w katalogu głównym witryny (yoursite.com/robots.txt). Grupa zaczyna się od jednego lub kilku wierszy User-agent z nazwami robotów, po których następują reguły Allow i Disallow dla ścieżek. Robot wymieniony w grupie stosuje reguły grup, w których podano jego nazwę, i ignoruje grupę ogólną dla wszystkich robotów (User-agent: *).
Aby zezwolić na dostęp
User-agent: GPTBot
Allow: /Aby zablokować dostęp
User-agent: GPTBot
Disallow: /Czy ma dostęp do twojej strony?
Bezpłatny test sprawdza reguły robots.txt, a następnie wysyła żądanie z identyfikatorem User-Agent, którego używa GPTBot. Dzięki temu pokazuje, czy dostęp blokuje reguła robots.txt lub zapora sieciowa.