Generador de robots.txt

Usa este generador de robots.txt para crear el archivo de todo tu sitio. Parte de la configuración predeterminada de WordPress, Shopify, Wix o Squarespace y comprueba cualquier ruta con el resultado.

Gratis y sin cuenta. El archivo se genera en tu navegador y no se envía nada.

Empezar con

Cualquier rastreador puede solicitar cualquier ruta. Añade abajo las rutas que quieras excluir.

Opcional. Se usa para las líneas de sitemap y el enlace al comprobador de robots.txt.

Grupo 1

* representa a cualquier rastreador sin grupo propio. Otros ejemplos: Googlebot, Bingbot.

Rutas que quieres excluir, una por línea, como /admin/ o /*?sort=.

Excepciones dentro de una ruta excluida, una por línea.

Opcional. Google lo ignora. Bing acepta de 1 a 30 segundos.

Direcciones completas. Las líneas de sitemap se aplican a todos los rastreadores.

Tu robots.txt

Al volver a analizarlo, se detectan 1 grupo, 0 reglas, 0 líneas de sitemap y 64 bytes.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Probar una ruta

Permitido Googlebot no tiene grupo propio y sigue las reglas del grupo *. Ninguna regla coincide con esta ruta, así que está permitida.

El archivo robots.txt se sitúa en la raíz de un sitio e indica a los rastreadores qué rutas pueden solicitar. Este generador crea grupos de agentes de usuario, reglas Allow y Disallow y líneas de sitemap. Después vuelve a leer el archivo con el analizador RFC 9309 que utiliza nuestro comprobador de robots.txt, para que puedas probar una ruta antes de subirlo.

Cómo funciona

Grupos y reglas
Cada grupo indica uno o varios agentes de usuario, las rutas que no pueden solicitar (Disallow) y las excepciones (Allow). Una ruta empieza por / o *, y $ marca el final de una URL. Un rastreador sigue el grupo que lo nombra y, si no hay ninguno, recurre al grupo *.
Configuraciones predeterminadas por plataforma
La configuración de WordPress coincide con el archivo que genera la propia plataforma. Las de Shopify, Wix y Squarespace reproducen los archivos predeterminados que servían los sitios de esas plataformas en octubre de 2026. En Shopify, los cambios se hacen en la plantilla de tema robots.txt.liquid, y Wix ofrece un editor de robots.txt en sus ajustes de SEO. Squarespace no documenta ninguna forma de subir un archivo propio, así que su configuración se ofrece como referencia.
Demora de rastreo
Google ignora Crawl-delay. Bing lo interpreta como un intervalo de 1 a 30 segundos. El generador acepta segundos enteros del 1 al 30 y solo escribe la línea en los grupos donde lo configures.
Comprobado antes de copiarlo
El archivo terminado se vuelve a leer con el analizador RFC 9309 que utiliza nuestro comprobador de robots.txt. La página te avisa si alguna línea se interpretaría de otra manera o si el archivo supera el límite de 500 KiB de Google. La prueba de rutas muestra qué línea determina el resultado para cada rastreador.

Preguntas sobre robots.txt

No. Impide el rastreo, pero Google puede indexar una URL bloqueada sin su contenido si otras páginas enlazan con ella. Para evitar que aparezca en los resultados, permite el rastreo y añade una metaetiqueta robots con noindex o una cabecera X-Robots-Tag.

En la raíz del host, por ejemplo, https://example.com/robots.txt. Cada subdominio y cada protocolo necesitan su propio archivo; un archivo dentro de una carpeta se ignora. En Shopify, Wix y Squarespace, la plataforma sirve el archivo, por lo que los cambios se hacen desde sus ajustes o su tema.

Cada grupo necesita al menos una línea de regla. Un Disallow vacío permite todas las rutas y evita que los agentes de usuario del grupo siguiente se incorporen a este.

Google y RFC 9309 eligen la regla más específica, es decir, la que tiene la ruta más larga. Si las reglas Allow y Disallow tienen la misma longitud, prevalece Allow. La prueba de rutas muestra la línea decisiva.

Añade un grupo para cada rastreador o usa el generador de robots.txt para IA, que clasifica los rastreadores de IA según su finalidad y crea las líneas correspondientes. Añade esas líneas debajo de tus grupos actuales.

Herramientas relacionadas

  • Comprobador de robots.txt

    Prueba hasta 50 rutas con el comprobador de robots.txt. Compara las reglas para rastreadores de buscadores y de IA, comprueba los recursos bloqueados y los sitemaps, y después edita y vuelve a probar un borrador.

  • Generador de robots.txt para IA

    Usa este generador de robots.txt para IA para elegir qué rastreadores pueden leer tu sitio. Modifica una configuración predefinida y descarga las reglas de IA para incorporarlas a tu archivo actual.

  • Comprobador SEO

    Usa este comprobador SEO para analizar hasta 25 páginas y detectar problemas de rastreo y de SEO en la página. Revisa las URL afectadas y una lista de soluciones, o añade una pequeña muestra de páginas de un competidor.

Comprueba cómo aparece tu negocio en las respuestas de IA

Que los rastreadores puedan leer y seguir tus páginas es el punto de partida. El análisis gratuito de visibilidad en IA muestra qué responden los asistentes sobre tu negocio y qué puedes mejorar después.

Haz el análisis gratuito de visibilidad en IA