Testador de robots.txt

Teste até 50 caminhos com o testador de robots.txt. Compare regras para crawlers de pesquisa e de IA, verifique recursos bloqueados e sitemaps e, depois, edite e volte a testar um rascunho.

Gratuito, sem conta. Dez verificações de sites por hora.

robots.txt a testar

O nosso servidor lê /robots.txt neste host. O arquivo pode ficar em cache durante cinco minutos.

Um caminho ou endereço completo. Se ficar vazio, será usado o endereço acima.

Até 50 caminhos. Se preencher este campo, os caminhos substituem o caminho único acima. Os URLs completos devem pertencer ao site onde está o ficheiro em produção.

Um testador de robots.txt indica se um crawler pode aceder a um URL segundo as regras do robots.txt de um site. Este lê o arquivo publicado ou um rascunho colado e aplica as regras conforme a RFC 9309 e o Google descrevem: usa o grupo correspondente ao crawler, prevalece a regra mais longa e, em caso de empate, prevalece Allow. Também mostra a linha que determinou o resultado.

Como usar esta ferramenta de verificação

Leia o arquivo publicado ou cole um rascunho
Introduza um site para ler o seu /robots.txt publicado ou cole um rascunho para o testar antes da publicação. O rascunho colado é enviado ao nosso servidor apenas para aplicar as regras; não procuramos nada na Web para o testar.
Escolha o caminho e o crawler
Introduza um caminho ou até 50 caminhos, um por linha. Compare Googlebot, Bingbot e todos os tokens de IA apresentados numa única matriz. Os grupos com o mesmo nome são combinados; caso contrário, aplicam-se as regras com asterisco. Os URLs completos têm de pertencer ao site do arquivo publicado.
Veja qual foi a regra decisiva
Prevalece o padrão correspondente mais longo e, em caso de empate, prevalece Allow. Os caracteres curinga e os marcadores de fim seguem o comportamento do Google. São lidos os primeiros 500 KiB. Uma resposta 4xx, exceto 429, permite o rastreamento; perante erros do servidor, bloqueamos todo o rastreamento sem presumir a existência de um arquivo anterior em cache.

Perguntas sobre esta ferramenta de verificação

Uma resposta 404 ou outro erro 4xx significa que não há regras, pelo que todos os crawlers podem aceder a tudo. Uma resposta 5xx, um tempo limite excedido ou uma página de verificação de bots são situações diferentes: a RFC 9309 orienta os crawlers a tratar todo o site como bloqueado até conseguirem ler o arquivo.

Não. Disallow impede o rastreamento, mas uma página bloqueada pode continuar a ser indexada a partir de links que apontem para ela, sem descrição. Para excluir uma página dos resultados de pesquisa, permita o rastreamento e adicione uma meta tag noindex ou um cabeçalho X-Robots-Tag.

Os principais operadores dizem que sim, e GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended têm, cada um, um token publicado. O robots.txt só vincula os crawlers que optam por respeitá-lo. Se precisar de um bloqueio efetivo, use também regras de firewall.

O Google não suporta Crawl-delay. O Bing e alguns outros crawlers interpretam essa linha. O testador assinala-a para que saiba que não tem qualquer efeito no Googlebot.

Ferramentas relacionadas

  • Gerador de robots.txt para IA

    Use este gerador de robots.txt para IA para escolher que rastreadores podem ler o seu site. Ajuste uma configuração predefinida e descarregue as regras de IA para as juntar ao ficheiro existente.

  • Gerador de robots.txt

    Use este gerador de robots.txt para criar o ficheiro de todo o seu site. Comece com o padrão de WordPress, Shopify, Wix ou Squarespace e teste qualquer caminho com o resultado.

  • Verificador de AI Overviews

    Use este verificador de AI Overviews para analisar o acesso do Googlebot a uma página, a indexação e as definições de excertos. Leia os resultados antes de alterar as definições de acesso.

Veja se a sua empresa aparece nas respostas de IA

As verificações técnicas ajudam a corrigir uma página. A análise gratuita de visibilidade em IA mostra as respostas verificadas para a sua empresa e o que deve melhorar a seguir.

Faça a análise gratuita de visibilidade em IA