Verificador de rastreadores de IA

Use este verificador de rastreadores de IA para analisar as regras do robots.txt, os sinais de indexação e as respostas HTTP. Identifique bloqueios antes de alterar as regras do seu site.

Gratuito, sem conta nem email. A verificação demora vários segundos.

A página inicial ou qualquer outra página. Só essa página será verificada.

Este verificador gratuito de acesso de rastreadores de IA lê o robots.txt, verifica os sinais meta robots e X-Robots-Tag e envia pedidos com os user agents dos rastreadores de IA. Cada linha mostra a regra aplicável e a resposta HTTP. Os resultados «permitido», «bloqueado» e «incerto» descrevem o que observámos a partir do nosso servidor. Não garantem que um rastreador real receba a mesma resposta.

Como funciona esta verificação

robots.txt
O robots.txt do site é lido uma vez e as regras de cada rastreador para a página são aplicadas conforme descrito no RFC 9309: o grupo que identifica o rastreador prevalece sobre o grupo destinado a todos os rastreadores.
Um pedido como cada rastreador
A página é solicitada com o user agent de cada rastreador. A tabela mostra o estado HTTP, qualquer desafio apresentado e a string do agente enviada. Google-Extended e Applebot-Extended são tokens de controlo, sem pedidos separados. Googlebot e Bingbot são verificados apenas no robots.txt.
Pedido de controlo
A página também é solicitada como se o pedido viesse de um navegador comum. Se esse pedido também for recusado, os pedidos feitos como rastreadores não permitem tirar conclusões específicas sobre eles e só o robots.txt é avaliado.
A limitação
Os pedidos partem do nosso endereço. Uma firewall que verifica os endereços IP publicados de um rastreador pode recusar o nosso pedido e ainda assim permitir o acesso ao rastreador real. Por isso, Googlebot e Bingbot são avaliados apenas pelo robots.txt.

Cada rastreador da tabela tem uma página própria na lista de rastreadores de IA.

Crie um robots.txt completo para IA · Verifique o comprimento do título e da descrição

Perguntas sobre rastreadores de IA

Introduza o seu domínio ou o endereço completo de uma página e selecione «Verificar a página». Consulte o estado de cada rastreador, a linha aplicável do robots.txt e a resposta HTTP. Depois, corrija as restrições indesejadas e verifique novamente. Só a página indicada é testada. Os resultados podem ficar em cache durante dez minutos.

Noindex pede aos motores de pesquisa que não incluam uma página nos seus índices. Noai e noimageai expressam preferências de utilização, mas o suporte varia conforme o operador. Nenhuma destas tags impede um pedido HTTP. Este verificador apresenta os sinais observados separadamente das respostas do robots.txt e da firewall.

Os rastreadores de pesquisa, como OAI-SearchBot, indexam conteúdo para respostas. Os rastreadores acionados pelo utilizador obtêm páginas quando alguém pede. Os rastreadores de treino recolhem conteúdo para desenvolver modelos. Pode definir preferências de treino em separado. Google-Extended também controla o uso de conteúdo como fonte para o Gemini, e alguns sistemas que obtêm páginas a pedido podem ignorar o robots.txt.

Uma CDN, uma firewall ou um serviço de proteção contra bots pode recusar pedidos com base no user agent antes de o robots.txt ser lido. Alguns têm uma definição específica para rastreadores de IA. Como o site continua a abrir no navegador, o bloqueio passa despercebido.

Não. O llms.txt é uma proposta de ficheiro que lista as principais páginas de um site para modelos de linguagem. Para acederem à página, os rastreadores desta verificação precisam de autorização no robots.txt e de uma resposta do servidor com a página. Um ficheiro llms.txt não altera nenhuma destas condições.

Não. Permiti-los significa apenas que os assistentes podem ler a página. A menção da sua empresa depende do que essa página e outros sites dizem sobre ela.

Veja o que os assistentes dizem sobre a sua empresa

A análise gratuita lê o seu site, verifica os mesmos rastreadores e faz aos assistentes as perguntas que os seus potenciais clientes fazem.