GPTBot: robot treningowy, za którego odpowiada OpenAI

GPTBot to robot treningowy. Zbiera strony na potrzeby przyszłe modele OpenAI. Za robota odpowiada OpenAI.

W skrócie

Podmiot prowadzący stronę
OpenAI
nazwa robota w robots.txt
GPTBot
Zastosowanie
Trenowanie. Roboty treningowe zbierają strony na potrzeby przyszłych modeli. Ich zablokowanie nie zatrzymuje robotów pobierających strony na potrzeby odpowiedzi, ponieważ działają one pod innymi nazwami.
Do czego służy
przyszłe modele OpenAI

Co zmienia zablokowanie

Jeśli GPTBot nie ma dostępu do twoich stron, przyszłe modele OpenAI nie uwzględni ich w zbieranych danych. Roboty pobierające strony na potrzeby odpowiedzi działają pod innymi nazwami, więc nadal mogą czytać twoją witrynę.

Identyfikator User-Agent

Przykładowy ciąg User-Agent, którego używa GPTBot. Jeśli operator publikuje pełny ciąg, korzystamy z jego dokumentacji. W rzeczywistych logach serwera wersje i szczegóły przeglądarki mogą się różnić.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Reguły robots.txt: GPTBot

robots.txt to zwykły plik tekstowy w katalogu głównym witryny (yoursite.com/robots.txt). Grupa zaczyna się od jednego lub kilku wierszy User-agent z nazwami robotów, po których następują reguły Allow i Disallow dla ścieżek. Robot wymieniony w grupie stosuje reguły grup, w których podano jego nazwę, i ignoruje grupę ogólną dla wszystkich robotów (User-agent: *).

Aby zezwolić na dostęp

User-agent: GPTBot
Allow: /

Aby zablokować dostęp

User-agent: GPTBot
Disallow: /

Czy ma dostęp do twojej strony?

Bezpłatny test sprawdza reguły robots.txt, a następnie wysyła żądanie z identyfikatorem User-Agent, którego używa GPTBot. Dzięki temu pokazuje, czy dostęp blokuje reguła robots.txt lub zapora sieciowa.

Sprawdź, czy GPTBot ma dostęp do twojej strony

Pytania o GPTBot

GPTBot to robot treningowy. Zbiera strony na potrzeby przyszłe modele OpenAI. Za robota odpowiada OpenAI.

To twój wybór. Jeśli go zablokujesz, twoje strony nie trafią do danych zbieranych na potrzeby tego produktu (przyszłe modele OpenAI). Nie zablokuje to jednak robotów, które pobierają strony, by przygotować odpowiedzi.

Dodaj grupę z nazwą robota i regułą obejmującą wszystkie ścieżki: „User-agent: GPTBot”, a pod nią „Disallow: /”. Aby zezwolić na dostęp, wpisz zamiast tego „Allow: /”.