Comprobador de robots.txt
Prueba hasta 50 rutas con el comprobador de robots.txt. Compara las reglas para rastreadores de buscadores y de IA, comprueba los recursos bloqueados y los sitemaps, y después edita y vuelve a probar un borrador.
Gratis, sin cuenta. Diez comprobaciones de sitios por hora.
Un comprobador de robots.txt te indica si un rastreador puede acceder a una URL según las reglas del archivo robots.txt de un sitio. Este lee el archivo publicado o un borrador pegado y aplica las reglas como describen RFC 9309 y Google: se usa el grupo correspondiente al rastreador, prevalece la regla coincidente más larga y, en caso de empate, prevalece Allow. Muestra la línea que determina el resultado.
Cómo usar esta herramienta
- Lee el archivo publicado o pega un borrador
- Introduce un sitio para leer su /robots.txt publicado o pega un borrador para probarlo antes de publicarlo. El borrador pegado solo se envía a nuestro servidor para comprobar las reglas; no se descarga nada para esa prueba.
- Elige la ruta y el rastreador
- Introduce una ruta o hasta 50, una por línea. Compara Googlebot, Bingbot y todos los identificadores de rastreadores de IA incluidos en una misma matriz. Los grupos con nombre se combinan; si no los hay, se aplican las reglas del comodín. Las URL completas deben pertenecer al sitio del archivo publicado.
- Consulta la regla decisiva
- Prevalece el patrón coincidente más largo y, en caso de empate, Allow. Los comodines y los marcadores de final siguen el comportamiento del sistema de coincidencias de Google. Se leen los primeros 500 KiB. Una respuesta 4xx, excepto 429, permite el rastreo; ante errores del servidor, se bloquea todo sin suponer que existe un archivo anterior en caché.
Preguntas sobre esta herramienta
Comprueba si la IA menciona tu negocio en sus respuestas
Las comprobaciones técnicas te ayudan a corregir una página. El análisis gratuito de visibilidad en IA muestra las respuestas comprobadas para tu negocio y qué conviene mejorar después.