¿Pueden los asistentes de IA leer tu sitio web?
Introduce la dirección de una página. La comprobación lee su archivo robots.txt y solicita la página como si fuera cada uno de los rastreadores de IA. Después te muestra cuáles pueden leerla y cuáles encuentran el acceso bloqueado.
Gratis, sin cuenta ni correo electrónico. La comprobación tarda varios segundos.
La comprobación de rastreadores de IA lee el archivo robots.txt de una página y la solicita una vez como cada rastreador de IA, incluidos OAI-SearchBot, ChatGPT-User, PerplexityBot y Claude-User. Muestra qué rastreadores pueden leerla y a cuáles bloquea un firewall o una CDN. Es gratis, no requiere una cuenta y tarda varios segundos.
Cómo funciona esta comprobación
- robots.txt
- El archivo robots.txt del sitio se lee una vez y las reglas de cada rastreador se aplican a la página según RFC 9309: el grupo que menciona al rastreador tiene prioridad sobre el grupo aplicable a todos los rastreadores.
- Una solicitud por cada rastreador
- La página se solicita una vez con el agente de usuario publicado de cada rastreador. Si el servidor entrega la página, se considera que puede leerla; si rechaza la solicitud o muestra una página de verificación, se considera que le ha bloqueado el acceso.
- Solicitud de control
- La página también se solicita como si accediera un navegador normal. Si esa solicitud también se rechaza, las solicitudes de los rastreadores no permiten sacar conclusiones sobre ellos en particular y solo se evalúa robots.txt.
- La limitación
- Las solicitudes proceden de nuestra dirección. Un firewall que compruebe las direcciones IP publicadas de un rastreador puede rechazar nuestra solicitud y permitir la del rastreador real. Por eso, Googlebot y Bingbot solo se evalúan según robots.txt.
Cada rastreador de la tabla tiene su propia página en la lista de rastreadores de IA.
Preguntas sobre los rastreadores de IA
Descubre qué dicen los asistentes sobre ti
El análisis gratuito lee tu sitio web, comprueba el acceso de esos mismos rastreadores y hace a los asistentes las preguntas que plantean tus compradores.