Verificador de rastreadores de IA
Use este verificador de rastreadores de IA para analisar as regras do robots.txt, os sinais de indexação e as respostas HTTP. Identifique bloqueios antes de alterar as regras do seu site.
Gratuito, sem conta nem email. A verificação demora vários segundos.
Este verificador gratuito de acesso de rastreadores de IA lê o robots.txt, verifica os sinais meta robots e X-Robots-Tag e envia pedidos com os user agents dos rastreadores de IA. Cada linha mostra a regra aplicável e a resposta HTTP. Os resultados «permitido», «bloqueado» e «incerto» descrevem o que observámos a partir do nosso servidor. Não garantem que um rastreador real receba a mesma resposta.
Como funciona esta verificação
- robots.txt
- O robots.txt do site é lido uma vez e as regras de cada rastreador para a página são aplicadas conforme descrito no RFC 9309: o grupo que identifica o rastreador prevalece sobre o grupo destinado a todos os rastreadores.
- Um pedido como cada rastreador
- A página é solicitada com o user agent de cada rastreador. A tabela mostra o estado HTTP, qualquer desafio apresentado e a string do agente enviada. Google-Extended e Applebot-Extended são tokens de controlo, sem pedidos separados. Googlebot e Bingbot são verificados apenas no robots.txt.
- Pedido de controlo
- A página também é solicitada como se o pedido viesse de um navegador comum. Se esse pedido também for recusado, os pedidos feitos como rastreadores não permitem tirar conclusões específicas sobre eles e só o robots.txt é avaliado.
- A limitação
- Os pedidos partem do nosso endereço. Uma firewall que verifica os endereços IP publicados de um rastreador pode recusar o nosso pedido e ainda assim permitir o acesso ao rastreador real. Por isso, Googlebot e Bingbot são avaliados apenas pelo robots.txt.
Cada rastreador da tabela tem uma página própria na lista de rastreadores de IA.
Crie um robots.txt completo para IA · Verifique o comprimento do título e da descrição
Perguntas sobre rastreadores de IA
Veja o que os assistentes dizem sobre a sua empresa
A análise gratuita lê o seu site, verifica os mesmos rastreadores e faz aos assistentes as perguntas que os seus potenciais clientes fazem.