Generador de robots.txt para IA
Usa este generador de robots.txt para IA para elegir qué rastreadores pueden leer tu sitio. Modifica una configuración predefinida y descarga las reglas de IA para incorporarlas a tu archivo actual.
Gratis y sin registrarte. Tus elecciones quedan guardadas en la URL de esta página para que puedas compartirlas.

Tus reglas de robots.txt para IA
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Añade estas reglas al archivo robots.txt en la raíz de tu sitio y conserva cualquier grupo User-agent: * que ya exista.
Comprueba qué rastreadores permite ahora tu sitio
También podemos configurar por ti robots.txt, las reglas de tu CDN y tu sitemap, según lo que elijas, y volver a comprobarlos después. Ver la configuración del acceso de rastreadores de IA
Este generador gratuito de robots.txt para IA crea reglas para los rastreadores del directorio de AIGROW. Por defecto, permite los rastreadores de búsqueda y los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Elige otra configuración predefinida o cambia cada rastreador por separado, añade rutas que quieras excluir y copia o descarga las reglas para tu sitio.
Cómo funciona
- Elige una configuración inicial
- La configuración predeterminada permite los rastreadores de búsqueda y los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Puedes permitirlos todos, bloquearlos todos o configurar cada uno por separado.
- Un grupo para las mismas reglas
- Los rastreadores que comparten reglas se agrupan bajo varias líneas User-agent. Los nombres proceden del directorio de rastreadores de IA. Googlebot y Bingbot se excluyen porque también rastrean para Google Search y Bing.
- Las rutas se aplican a todos los grupos
- Según RFC 9309, un rastreador incluido en un grupo no hereda las reglas del grupo User-agent: *. Las rutas Disallow adicionales se añaden a todos los grupos de IA. Las demás rutas siguen accesibles para los rastreadores que permitas.
- Conserva el resto de tu archivo
- El generador solo crea los grupos de IA. Conserva el grupo User-agent: * de tu archivo actual y las demás entradas, incluidos los enlaces al sitemap. Sustituye los grupos antiguos que mencionen a esos mismos rastreadores y mantén las rutas que quieras seguir excluyendo.
Preguntas sobre los rastreadores de IA
¿Pueden los asistentes de IA leer las páginas de tu empresa?
Haz el análisis gratuito para comprobar el acceso y ver qué dicen los asistentes sobre tu empresa.