Gerador de robots.txt para IA
Escolha quais rastreadores de IA podem ler o seu site. Comece com uma configuração predefinida, ajuste cada rastreador e baixe a parte do robots.txt relativa à IA. Gratuito, sem precisar de conta.
Gratuito e sem registo. As suas escolhas ficam guardadas no URL desta página para que possa partilhá-las.
As suas regras de robots.txt para IA
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Coloque estas regras no ficheiro robots.txt na raiz do seu site e mantenha qualquer grupo User-agent: * já existente.
Verifique a que rastreadores o seu site permite acesso agora
Este gerador gratuito de robots.txt para IA cria regras para os rastreadores do diretório da AIGrow. Por padrão, permite rastreadores de pesquisa e os que abrem páginas a pedido de alguém, mas bloqueia rastreadores de treino. Escolha outra configuração predefinida ou ajuste cada rastreador, adicione caminhos a excluir e copie ou baixe as regras para o seu site.
Como funciona
- Escolha por onde começar
- A configuração padrão permite rastreadores de pesquisa e os que abrem páginas a pedido de alguém, mas bloqueia rastreadores de treino. Pode permitir ou bloquear todos os rastreadores, ou ajustar cada um separadamente.
- Um grupo para regras iguais
- Rastreadores com as mesmas regras partilham um grupo com várias linhas User-agent. Os nomes vêm do diretório de rastreadores de IA. Googlebot e Bingbot ficam de fora porque também rastreiam páginas para Google Search e Bing.
- Os caminhos aplicam-se a todos os grupos
- Um rastreador incluído num grupo não herda as regras do grupo User-agent: *, conforme descrito na RFC 9309. Os caminhos adicionais em Disallow são incluídos em todos os grupos de IA. Os demais caminhos continuam acessíveis aos rastreadores que permitir.
- Mantenha o resto do seu ficheiro
- O gerador cria apenas os grupos de IA. Mantenha o grupo User-agent: * existente e as outras entradas, incluindo os links para sitemaps. Substitua os grupos antigos que mencionem os mesmos rastreadores e conserve os caminhos que pretende continuar a excluir.
Perguntas sobre rastreadores de IA
Os assistentes de IA conseguem ler as páginas da sua empresa?
Faça a análise gratuita para verificar o acesso e ver o que os assistentes dizem sobre a sua empresa.