Generador de robots.txt para IA

Usa este generador de robots.txt para IA para elegir qué rastreadores pueden leer tu sitio. Modifica una configuración predefinida y descarga las reglas de IA para incorporarlas a tu archivo actual.

Gratis y sin registrarte. Tus elecciones quedan guardadas en la URL de esta página para que puedas compartirlas.

Configuración predefinida

OAI-SearchBot

OpenAI: Búsqueda de ChatGPT

Claude-SearchBot

Anthropic: Búsqueda de Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri y Spotlight

DuckAssistBot

DuckDuckGo: Respuestas de DuckDuckGo

MistralAI-Index

Mistral: Búsqueda de Vibe

Meta-WebIndexer

Meta: Búsqueda con Meta AI

Amzn-SearchBot

Amazon: Búsqueda de Alexa

YouBot

You.com: Respuestas de You.com

Rastreadores que actúan a petición del usuario

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Rastreadores de entrenamiento

GPTBot

OpenAI: Futuros modelos de OpenAI

ClaudeBot

Anthropic: Futuros modelos de Claude

Google-Extended

Google: Entrenamiento y fundamentación de Gemini

Applebot-Extended

Apple: Entrenamiento de Apple Intelligence

MistralAI-Training

Mistral: futuros modelos de Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Productos y modelos de Amazon

CCBot

Common Crawl: el conjunto de datos abierto con el que se entrenan la mayoría de los modelos

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: preferencia antigua de robots.txt

Googlebot y Bingbot no aparecen en el archivo. También rastrean páginas para Google Search y Bing, así que el grupo User-agent: * sigue determinando qué pueden hacer. Para impedir que tus páginas se usen en el entrenamiento y las respuestas de Gemini, bloquea Google-Extended.

Opcional. Una ruta por línea, hasta 20 líneas. Empieza cada ruta con / y no uses espacios ni #. Estas rutas se incluyen en la URL compartida.

Tus reglas de robots.txt para IA

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Añade estas reglas al archivo robots.txt en la raíz de tu sitio y conserva cualquier grupo User-agent: * que ya exista.

Comprueba qué rastreadores permite ahora tu sitio

También podemos configurar por ti robots.txt, las reglas de tu CDN y tu sitemap, según lo que elijas, y volver a comprobarlos después. Ver la configuración del acceso de rastreadores de IA

Este generador gratuito de robots.txt para IA crea reglas para los rastreadores del directorio de AIGROW. Por defecto, permite los rastreadores de búsqueda y los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Elige otra configuración predefinida o cambia cada rastreador por separado, añade rutas que quieras excluir y copia o descarga las reglas para tu sitio.

Cómo funciona

Elige una configuración inicial
La configuración predeterminada permite los rastreadores de búsqueda y los que abren páginas a petición del usuario, y bloquea los de entrenamiento. Puedes permitirlos todos, bloquearlos todos o configurar cada uno por separado.
Un grupo para las mismas reglas
Los rastreadores que comparten reglas se agrupan bajo varias líneas User-agent. Los nombres proceden del directorio de rastreadores de IA. Googlebot y Bingbot se excluyen porque también rastrean para Google Search y Bing.
Las rutas se aplican a todos los grupos
Según RFC 9309, un rastreador incluido en un grupo no hereda las reglas del grupo User-agent: *. Las rutas Disallow adicionales se añaden a todos los grupos de IA. Las demás rutas siguen accesibles para los rastreadores que permitas.
Conserva el resto de tu archivo
El generador solo crea los grupos de IA. Conserva el grupo User-agent: * de tu archivo actual y las demás entradas, incluidos los enlaces al sitemap. Sustituye los grupos antiguos que mencionen a esos mismos rastreadores y mantén las rutas que quieras seguir excluyendo.

Preguntas sobre los rastreadores de IA

Crea grupos User-agent con reglas Allow o Disallow para los rastreadores del directorio de IA, salvo Googlebot y Bingbot, que también rastrean para Google Search y Bing. Los rastreadores con las mismas reglas comparten un grupo. Puedes copiar el texto o descargarlo como robots.txt y añadirlo a tu archivo actual.

Cumplen funciones distintas y tienen nombres diferentes. Los rastreadores de búsqueda crean el índice que consulta un asistente. Los que actúan a petición del usuario abren una página cuando alguien lo solicita. Los de entrenamiento recopilan páginas para futuros modelos, así que puedes definir sus reglas por separado.

robots.txt comunica una petición a los rastreadores, tal como se describe en la documentación de sus operadores. El archivo indica las reglas que les pides que sigan.

Se coloca en la raíz de tu sitio, por ejemplo, en https://example.com/robots.txt. Si ya tienes un archivo ahí, conserva su grupo User-agent: * y las demás entradas, y actualiza los grupos de IA con las reglas generadas.

¿Pueden los asistentes de IA leer las páginas de tu empresa?

Haz el análisis gratuito para comprobar el acceso y ver qué dicen los asistentes sobre tu empresa.