GPTBot: crawler per l’addestramento gestito da OpenAI

GPTBot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: futuri modelli OpenAI. È gestito da OpenAI.

In breve

Gestore
OpenAI
Identificativo robots.txt
GPTBot
Scopo
Addestramento. I crawler per l’addestramento raccolgono pagine per i modelli futuri. Bloccarli non ferma i crawler che recuperano pagine per fornire risposte, perché hanno nomi distinti.
Cosa alimenta
futuri modelli OpenAI

Effetti del blocco

Se blocchi GPTBot, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: futuri modelli OpenAI. I crawler che recuperano pagine per fornire risposte hanno nomi distinti e potranno comunque leggere il tuo sito.

User agent

Uno user agent rappresentativo per GPTBot. Usiamo la documentazione degli operatori quando è disponibile la stringa completa. Le versioni e i dettagli del browser nei log effettivi del server possono variare.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Regole robots.txt per GPTBot

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: GPTBot
Allow: /

Per bloccare l’accesso

User-agent: GPTBot
Disallow: /

Il tuo sito gli consente l’accesso?

Il controllo dei crawler legge il tuo robots.txt per GPTBot e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.

Controlla se il tuo sito consente l’accesso a GPTBot

Domande su GPTBot

GPTBot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: futuri modelli OpenAI. È gestito da OpenAI.

Sta a te decidere. Se lo blocchi, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: futuri modelli OpenAI. Il blocco non riguarda i crawler che recuperano pagine per fornire risposte.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: GPTBot”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.