Comprobador de rastreadores de IA

Usa este comprobador de rastreadores de IA para revisar las reglas de robots.txt, las señales de indexación y las respuestas HTTP. Comprueba qué accesos están bloqueados antes de cambiar las reglas de tu sitio.

Gratis, sin cuenta ni correo electrónico. La comprobación tarda varios segundos.

Puede ser la página de inicio o cualquier otra. Solo se comprueba esa página.

Este comprobador gratuito de acceso para rastreadores de IA lee robots.txt, revisa las señales meta robots y X-Robots-Tag y envía solicitudes con identificadores de rastreadores de IA. Cada fila muestra la regla aplicable y la respuesta HTTP. Los resultados «permitido», «bloqueado» e «incierto» describen lo que observamos desde nuestro servidor; no garantizan que un rastreador real reciba la misma respuesta.

Cómo funciona esta comprobación

robots.txt
Se lee el robots.txt del sitio una sola vez y se aplican las reglas correspondientes a cada rastreador para esa página, según RFC 9309: el grupo que nombra al rastreador prevalece sobre el grupo general.
Una solicitud como cada rastreador
Se solicita la página con el identificador de usuario de cada rastreador. La tabla muestra el estado HTTP, cualquier comprobación de seguridad y la cadena de identificación enviada. Google-Extended y Applebot-Extended son tokens de control y no generan una solicitud independiente. Googlebot y Bingbot solo se comprueban en robots.txt.
Solicitud de control
También se solicita la página como un navegador corriente. Si esa solicitud también se rechaza, las solicitudes de los rastreadores no permiten sacar conclusiones específicas sobre ellos y solo se evalúa robots.txt.
La limitación
Nuestras solicitudes salen de nuestra dirección. Un firewall que comprueba las direcciones IP publicadas de un rastreador puede rechazar nuestra solicitud y permitir la del rastreador real. Por eso, Googlebot y Bingbot solo se evalúan mediante robots.txt.

Cada rastreador de la tabla tiene su propia página en la lista de rastreadores de IA.

Crea un robots.txt completo para IA · Comprueba la longitud del título y la descripción

Preguntas sobre los rastreadores de IA

Introduce tu dominio o la dirección completa de una página y selecciona «Comprobar la página». Consulta el estado de cada rastreador, revisa la línea aplicable de robots.txt y la respuesta HTTP, corrige las restricciones que no quieras y vuelve a comprobarlo. Solo se analiza la página indicada. Los resultados pueden quedar en caché durante diez minutos.

Noindex pide a los motores de búsqueda que no incluyan una página en su índice. Noai y noimageai expresan preferencias de uso que los operadores admiten en distinta medida. Ninguna de estas etiquetas impide una solicitud HTTP. Este comprobador muestra las señales observadas por separado de robots.txt y las respuestas del firewall.

Los rastreadores de búsqueda, como OAI-SearchBot, indexan contenido para generar respuestas. Los rastreadores de usuario obtienen páginas cuando alguien lo solicita. Los de entrenamiento recopilan contenido para desarrollar modelos. Puedes definir tus preferencias de entrenamiento por separado. Google-Extended también controla el acceso de Gemini a fuentes externas, y algunos sistemas que obtienen páginas a petición del usuario pueden ignorar robots.txt.

Una CDN, un firewall o un servicio de protección contra bots puede rechazar solicitudes según el identificador de usuario antes incluso de que se lea robots.txt. Algunos tienen una opción específica para rastreadores de IA. Como el sitio sigue abriéndose en el navegador, el bloqueo pasa inadvertido.

No. llms.txt es un archivo propuesto que enumera las páginas principales de un sitio para los modelos de lenguaje. Para los rastreadores de esta comprobación, robots.txt debe permitir el acceso y el servidor debe entregar la página. Un archivo llms.txt no cambia ninguna de las dos cosas.

No. Permitirlos solo significa que los asistentes pueden leer la página. Que mencionen una empresa depende de lo que digan sobre ella esa página y otros sitios.

Descubre qué dicen los asistentes sobre ti

El análisis gratuito lee tu sitio, comprueba esos mismos rastreadores y plantea a los asistentes las preguntas que hacen tus compradores.