GPTBot: rastreador de entrenamiento operado por OpenAI

GPTBot es un rastreador de entrenamiento. Recopila páginas para Futuros modelos de OpenAI. Lo opera OpenAI.

De un vistazo

Responsable del sitio
OpenAI
Identificador en robots.txt
GPTBot
Función
Entrenamiento. Los rastreadores de entrenamiento recopilan páginas para futuros modelos. Bloquearlos no impide el acceso a los rastreadores que consultan páginas para elaborar respuestas, ya que tienen nombres distintos.
Qué alimenta
Futuros modelos de OpenAI

Qué cambia al bloquearlo

Si bloqueas GPTBot, tus páginas quedarán fuera de lo que recopila para Futuros modelos de OpenAI. Los rastreadores que consultan páginas para elaborar respuestas tienen nombres distintos, así que podrán seguir leyendo tu sitio.

Agente de usuario

Un agente de usuario representativo de GPTBot. Usamos la documentación del operador cuando publica la cadena completa. Las versiones y los datos del navegador pueden variar en los registros reales del servidor.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Reglas de robots.txt para GPTBot

robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).

Para permitirle el acceso

User-agent: GPTBot
Allow: /

Para bloquearle el acceso

User-agent: GPTBot
Disallow: /

¿Tu sitio le permite el acceso?

La comprobación de rastreadores lee tu robots.txt para GPTBot y solicita tu página con su agente de usuario. Así muestra si lo bloquea una regla de robots.txt o un firewall.

Comprueba si tu sitio permite el acceso a GPTBot

Preguntas sobre GPTBot

GPTBot es un rastreador de entrenamiento. Recopila páginas para Futuros modelos de OpenAI. Lo opera OpenAI.

Tú decides. Si lo bloqueas, tus páginas quedarán fuera de lo que recopila para Futuros modelos de OpenAI. Eso no bloquea a los rastreadores que consultan páginas para elaborar respuestas.

Añade un grupo con su nombre y una regla para todas las rutas: «User-agent: GPTBot», seguido de «Disallow: /». Si quieres permitirle el acceso, escribe «Allow: /» en su lugar.