Generador de robots.txt para IA
Elige qué rastreadores de IA pueden leer tu sitio. Empieza con una configuración predefinida, ajusta cada rastreador y descarga la sección de IA de tu robots.txt. Gratis y sin necesidad de crear una cuenta.
Gratis y sin registrarte. Tus elecciones quedan guardadas en la URL de esta página para que puedas compartirlas.
Tus reglas de robots.txt para IA
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Añade estas reglas al archivo robots.txt en la raíz de tu sitio y conserva cualquier grupo User-agent: * que ya exista.
Este generador gratuito de robots.txt para IA crea reglas para los rastreadores del directorio de AIGrow. Por defecto, permite el acceso a los rastreadores de búsqueda y a los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Elige otra configuración predefinida o ajusta cada rastreador, añade las rutas que quieras excluir y copia o descarga las reglas para tu sitio.
Cómo funciona
- Elige una configuración inicial
- La configuración predeterminada permite los rastreadores de búsqueda y los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Puedes permitirlos todos, bloquearlos todos o configurar cada uno por separado.
- Un grupo para las mismas reglas
- Los rastreadores que comparten reglas se agrupan bajo varias líneas User-agent. Los nombres proceden del directorio de rastreadores de IA. Googlebot y Bingbot no se incluyen porque también rastrean para Google Search y Bing.
- Las rutas se aplican a todos los grupos
- Un rastreador incluido en un grupo no hereda las reglas del grupo User-agent: *, como establece RFC 9309. Las rutas Disallow adicionales se añaden a todos los grupos de IA. Las demás rutas siguen accesibles para los rastreadores que permitas.
- Conserva el resto del archivo
- El generador solo crea los grupos de IA. Conserva tu grupo User-agent: * y las demás entradas, incluidos los enlaces a sitemaps. Sustituye los grupos antiguos que incluyan esos mismos rastreadores y mantén las rutas que quieras seguir excluyendo.
Preguntas sobre los rastreadores de IA
¿Pueden los asistentes de IA leer las páginas de tu negocio?
Haz el análisis gratuito para comprobar si pueden acceder y descubrir qué dicen los asistentes sobre tu negocio.