Gerador de robots.txt para IA

Use este gerador de robots.txt para IA para escolher que rastreadores podem ler o seu site. Ajuste uma configuração predefinida e descarregue as regras de IA para as juntar ao ficheiro existente.

Gratuito e sem registo. As suas escolhas ficam guardadas no URL desta página para que possa partilhá-las.

Configuração predefinida

OAI-SearchBot

OpenAI: Pesquisa do ChatGPT

Claude-SearchBot

Anthropic: Pesquisa do Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri e Spotlight

DuckAssistBot

DuckDuckGo: Respostas do DuckDuckGo

MistralAI-Index

Mistral: Pesquisa do Vibe

Meta-WebIndexer

Meta: Pesquisa na Meta AI

Amzn-SearchBot

Amazon: Pesquisa Alexa

YouBot

You.com: Respostas do You.com

Rastreadores acionados a pedido

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Rastreadores de treino

GPTBot

OpenAI: futuros modelos da OpenAI

ClaudeBot

Anthropic: futuros modelos do Claude

Google-Extended

Google: Treino e fundamentação do Gemini

Applebot-Extended

Apple: Treino do Apple Intelligence

MistralAI-Training

Mistral: futuros modelos Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Produtos e modelos da Amazon

CCBot

Common Crawl: o conjunto de dados aberto usado para treinar a maioria dos modelos

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: preferência legada no robots.txt

Googlebot e Bingbot não estão incluídos no ficheiro. Também rastreiam páginas para Google Search e Bing, por isso o grupo User-agent: * continua a definir as regras para ambos. Para impedir que as suas páginas sejam usadas no treino e na fundamentação de respostas do Gemini, bloqueie Google-Extended.

Opcional. Um caminho por linha, até 20 linhas. Comece cada caminho com / e não use espaços nem #. Estes caminhos são incluídos no URL partilhado.

As suas regras de robots.txt para IA

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Coloque estas regras no ficheiro robots.txt na raiz do seu site e mantenha qualquer grupo User-agent: * já existente.

Verifique a que rastreadores o seu site permite acesso agora

Também podemos configurar por si o robots.txt, as regras da CDN e o sitemap, conforme escolher, e voltar a verificá-los depois. Ver a configuração de acesso dos rastreadores de IA

Este gerador gratuito de robots.txt para IA cria regras para os rastreadores do diretório da AIGROW. Por predefinição, permite rastreadores de pesquisa e os que abrem páginas a pedido, mas bloqueia os de treino. Escolha outra configuração predefinida ou altere as regras de cada rastreador, adicione caminhos a excluir e depois copie ou descarregue as regras para o seu site.

Como funciona

Escolha por onde começar
A configuração predefinida permite rastreadores de pesquisa e os que abrem páginas a pedido, mas bloqueia os de treino. Pode permitir todos, bloquear todos ou definir a regra de cada um.
Um grupo para regras iguais
Os rastreadores sujeitos às mesmas regras partilham um grupo com várias linhas User-agent. Os nomes vêm do diretório de rastreadores de IA. Googlebot e Bingbot ficam de fora porque também rastreiam páginas para Google Search e Bing.
Os caminhos aplicam-se a todos os grupos
Um rastreador identificado num grupo não herda as regras do grupo User-agent: *, conforme descrito no RFC 9309. Os caminhos Disallow adicionais são incluídos em todos os grupos de IA. Os restantes caminhos continuam acessíveis aos rastreadores que permitir.
Mantenha o resto do ficheiro
O gerador cria apenas os grupos de IA. Mantenha o grupo User-agent: * e as outras entradas do ficheiro existente, incluindo os links para o sitemap. Substitua os grupos antigos que mencionem estes mesmos rastreadores e mantenha os caminhos que quiser continuar a excluir.

Perguntas sobre rastreadores de IA

Cria grupos User-agent com regras Allow ou Disallow para os rastreadores do diretório de rastreadores de IA, exceto Googlebot e Bingbot, que também rastreiam páginas para Google Search e Bing. Os rastreadores sujeitos às mesmas regras partilham um grupo. Pode copiar o texto ou descarregá-lo como robots.txt e depois juntá-lo ao ficheiro existente.

Têm funções e nomes diferentes. Os rastreadores de pesquisa criam o índice que um assistente consulta. Os rastreadores acionados pelo utilizador abrem uma página quando alguém pede. Os rastreadores de treino recolhem páginas para modelos futuros, por isso pode definir regras específicas para eles.

O robots.txt é um pedido aos rastreadores, descrito na documentação dos respetivos operadores. O ficheiro indica as regras que lhes pede para seguir.

Na raiz do seu site, por exemplo, em https://example.com/robots.txt. Se já tiver um ficheiro aí, mantenha o grupo User-agent: * e as outras entradas e atualize os grupos de IA com as regras geradas.

Os assistentes de IA conseguem ler as páginas da sua empresa?

Faça a análise gratuita para verificar o acesso e ver o que os assistentes dizem sobre a sua empresa.