Gerador de robots.txt para IA
Use este gerador de robots.txt para IA para escolher que rastreadores podem ler o seu site. Ajuste uma configuração predefinida e descarregue as regras de IA para as juntar ao ficheiro existente.
Gratuito e sem registo. As suas escolhas ficam guardadas no URL desta página para que possa partilhá-las.

As suas regras de robots.txt para IA
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Coloque estas regras no ficheiro robots.txt na raiz do seu site e mantenha qualquer grupo User-agent: * já existente.
Verifique a que rastreadores o seu site permite acesso agora
Também podemos configurar por si o robots.txt, as regras da CDN e o sitemap, conforme escolher, e voltar a verificá-los depois. Ver a configuração de acesso dos rastreadores de IA
Este gerador gratuito de robots.txt para IA cria regras para os rastreadores do diretório da AIGROW. Por predefinição, permite rastreadores de pesquisa e os que abrem páginas a pedido, mas bloqueia os de treino. Escolha outra configuração predefinida ou altere as regras de cada rastreador, adicione caminhos a excluir e depois copie ou descarregue as regras para o seu site.
Como funciona
- Escolha por onde começar
- A configuração predefinida permite rastreadores de pesquisa e os que abrem páginas a pedido, mas bloqueia os de treino. Pode permitir todos, bloquear todos ou definir a regra de cada um.
- Um grupo para regras iguais
- Os rastreadores sujeitos às mesmas regras partilham um grupo com várias linhas User-agent. Os nomes vêm do diretório de rastreadores de IA. Googlebot e Bingbot ficam de fora porque também rastreiam páginas para Google Search e Bing.
- Os caminhos aplicam-se a todos os grupos
- Um rastreador identificado num grupo não herda as regras do grupo User-agent: *, conforme descrito no RFC 9309. Os caminhos Disallow adicionais são incluídos em todos os grupos de IA. Os restantes caminhos continuam acessíveis aos rastreadores que permitir.
- Mantenha o resto do ficheiro
- O gerador cria apenas os grupos de IA. Mantenha o grupo User-agent: * e as outras entradas do ficheiro existente, incluindo os links para o sitemap. Substitua os grupos antigos que mencionem estes mesmos rastreadores e mantenha os caminhos que quiser continuar a excluir.
Perguntas sobre rastreadores de IA
Os assistentes de IA conseguem ler as páginas da sua empresa?
Faça a análise gratuita para verificar o acesso e ver o que os assistentes dizem sobre a sua empresa.