¿Puede la IA leer mi sitio web?

¿Puede la IA leer mi sitio web? Compara el texto, los encabezados, los enlaces y los datos estructurados del HTML original entre las solicitudes de los rastreadores. Revisa las reglas de acceso y detecta páginas vacías que dependen de JavaScript.

Gratis y sin cuenta. Diez comprobaciones por hora entre las herramientas de legibilidad para IA, análisis móvil y detección de tecnologías.

Enviamos la dirección a nuestra API para realizar esta comprobación. Los resultados pueden conservarse en caché durante cinco minutos.

Los rastreadores de IA leen el HTML que envía tu servidor. Según un estudio de Vercel de diciembre de 2024, los rastreadores de ChatGPT, Claude y Perplexity no ejecutaban JavaScript, así que nunca recibían el texto añadido mediante scripts. Introduce la URL de una página para solicitarla como cuatro rastreadores de IA y como un navegador. Después podrás ver el texto, los encabezados y los enlaces que recibió cada uno.

Cómo usar esta herramienta

Cinco solicitudes para una página
Nuestro servidor solicita la página como GPTBot, ClaudeBot, PerplexityBot y OAI-SearchBot, con el agente de usuario que publica cada operador, y una vez como un navegador Chrome de escritorio. Cada solicitud sigue hasta tres redirecciones y lee como máximo 3 MB.
Primero, robots.txt
Leemos el robots.txt del sitio antes de solicitar la página como rastreador. Si robots.txt impide el acceso a uno de ellos, no enviamos su solicitud a la página y mostramos la regla que lo bloquea.
Directivas de la página y llms.txt
Cada fila de un rastreador muestra las directivas restrictivas de meta robots y X-Robots-Tag, junto con la documentación del agente de usuario de su operador. noai y noimageai son solicitudes no estandarizadas. Comprobamos llms.txt como señal voluntaria secundaria. No medimos la proporción de texto renderizado; las comparaciones del número de palabras utilizan el HTML original de escritorio.
No se ejecuta JavaScript
El texto, los encabezados, los enlaces, el título, la descripción y JSON-LD se extraen del HTML tal como lo envió el servidor. No se ejecuta nada de la página. Así leían las páginas los rastreadores del estudio de Vercel.
Cómo se determina el resultado
Legible: se recibieron 40 palabras o más y nada indica que el resto requiera JavaScript. Parcialmente legible: la página es corta, tiene menos de 150 palabras y muestra indicios de haberse construido mediante scripts, o contiene menos de la mitad de las palabras de la copia para el navegador. Página vacía: no hay palabras legibles y sí scripts, o hay menos de 40 palabras junto con una raíz de aplicación vacía, un aviso sobre JavaScript o muchos scripts insertados en el HTML. Bloqueado: robots.txt, una denegación o un desafío antibots detuvo al rastreador.

Fuente sobre la ejecución de scripts por los rastreadores: Vercel, «The rise of the AI crawler», 17 de diciembre de 2024. Los rastreadores de OpenAI, Anthropic, Meta, ByteDance y Perplexity analizados no ejecutaban JavaScript.

Preguntas sobre esta herramienta

En el estudio de Vercel «The rise of the AI crawler» (17 de diciembre de 2024), ninguno de los principales rastreadores de IA renderizaba JavaScript. Entre ellos estaban OAI-SearchBot, ChatGPT-User y GPTBot de OpenAI, ClaudeBot de Anthropic y PerplexityBot. ChatGPT y Claude descargaban archivos JavaScript, pero no los ejecutaban. Gemini utiliza la infraestructura de Googlebot, que sí renderiza JavaScript. Los rastreadores pueden cambiar, así que repite la prueba después de rediseñar tu sitio.

El navegador ejecuta los scripts de la página, que generan el texto después de cargarla. Un rastreador que no ejecuta scripts solo recibe el HTML inicial. En una aplicación renderizada en el cliente, ese HTML contiene únicamente un contenedor vacío. El renderizado en el servidor, la generación estática o el prerenderizado incluyen el texto final en el HTML inicial.

Algunos sitios envían a los rastreadores una versión prerenderizada y a los navegadores una página construida mediante scripts. La prueba señala este caso cuando un rastreador recibe al menos 150 palabras y la copia para el navegador, menos de 40. Asegúrate de que ambas versiones tengan, en esencia, el mismo contenido: los buscadores consideran encubrimiento mostrar contenido diferente a los bots y a las personas.

Un cortafuegos o un servicio de protección contra bots puede rechazar una solicitud o responder con una página de verificación antes de que llegue al sitio. Permite el acceso del rastreador en ese servicio, por ejemplo, en la configuración de bots de Cloudflare. Nuestras solicitudes proceden de un único servidor, así que un bloqueo aquí es un indicio sólido, aunque no una prueba, de lo que recibe el rastreador real.

No. Solo muestra qué puede leer un rastreador en una página. Que un asistente mencione tu empresa depende de muchas otras fuentes. El Análisis de visibilidad en IA gratuito comprueba respuestas reales.

Herramientas relacionadas

  • Detector de tecnologías web

    Usa este detector para identificar las tecnologías de una web a partir de señales visibles y DNS. Consulta las versiones declaradas y las pruebas, y compara dos sitios con información sobre el acceso de los rastreadores de IA.

  • Comprobación de rastreadores de IA

    Usa este comprobador de rastreadores de IA para revisar las reglas de robots.txt, las señales de indexación y las respuestas HTTP. Comprueba qué accesos están bloqueados antes de cambiar las reglas de tu sitio.

  • Generador y validador de llms.txt

    Usa este generador de llms.txt para crear un archivo editable a partir de una web, un sitemap XML o una lista de páginas pegada aquí. Organiza las secciones, revisa las descripciones y copia o descarga el Markdown.

Comprueba si la IA menciona tu empresa en sus respuestas

Que los rastreadores puedan leer una página es solo el punto de partida. El Análisis de visibilidad en IA gratuito muestra cómo responden los asistentes sobre tu empresa y qué conviene mejorar después.

Haz el Análisis de visibilidad en IA gratuito