A IA consegue ler o meu site?

A IA consegue ler o meu site? Compare o texto, os títulos, os links e os dados estruturados do HTML original em pedidos feitos por diferentes crawlers. Verifique as regras de acesso e identifique páginas que dependem de JavaScript.

Gratuito, sem conta. Dez verificações por hora no conjunto das ferramentas de legibilidade para IA, dispositivos móveis e tecnologias.

Enviamos o endereço à nossa API para esta verificação. Os resultados podem ficar em cache durante cinco minutos.

Os crawlers de IA leem o HTML enviado pelo seu servidor. Num estudo da Vercel de dezembro de 2024, os crawlers por trás de ChatGPT, Claude e Perplexity não executavam JavaScript, pelo que o texto adicionado por scripts não lhes chegava. Introduza uma página para a obter como quatro crawlers de IA e como um navegador. Depois, veja o texto, os títulos e os links que cada um recebeu.

Como usar esta ferramenta de verificação

Cinco pedidos para uma página
O nosso servidor pede a página como GPTBot, ClaudeBot, PerplexityBot e OAI-SearchBot, usando o identificador de agente publicado por cada operador, e mais uma vez como um navegador Chrome para computador. Cada pedido segue até três redirecionamentos e lê, no máximo, 3 MB.
O robots.txt vem primeiro
Lemos o robots.txt do site antes de qualquer pedido como crawler. Se o robots.txt impedir o acesso de um crawler, não lhe enviamos nenhum pedido para a página e mostramos a regra que o bloqueia.
Diretivas da página e llms.txt
Cada linha de crawler mostra as diretivas restritivas de meta robots e X-Robots-Tag, além da documentação do operador sobre o seu identificador de agente. noai e noimageai são pedidos não padronizados. O llms.txt é verificado como um sinal voluntário secundário. A proporção de texto renderizado não é medida; a comparação do número de palavras usa o HTML original para computador.
Nenhum JavaScript é executado
O texto, os títulos, os links, o título da página, a descrição e os dados JSON-LD vêm do HTML tal como o servidor o enviou. Nada na página é executado. É assim que os crawlers do estudo da Vercel liam as páginas.
Como são atribuídos os resultados
Legível: chegaram 40 palavras ou mais e nada indica que o restante texto dependa de JavaScript. Parcialmente legível: uma página curta, com menos de 150 palavras e sinais de que foi construída por scripts, ou com menos de metade das palavras presentes na versão recebida pelo navegador. Estrutura vazia: nenhum texto legível numa página com scripts, ou menos de 40 palavras com a raiz da aplicação vazia, um aviso sobre JavaScript ou muitos scripts incorporados. Bloqueado: o robots.txt, uma recusa ou um desafio antibot impediram o crawler.

Fonte sobre a execução de scripts pelos rastreadores: Vercel, “The rise of the AI crawler”, 17 de dezembro de 2024. Os rastreadores analisados da OpenAI, Anthropic, Meta, ByteDance e Perplexity não executavam JavaScript.

Perguntas sobre esta ferramenta de verificação

No estudo da Vercel «The rise of the AI crawler» (17 de dezembro de 2024), nenhum dos principais crawlers de IA renderizava JavaScript, incluindo OAI-SearchBot, ChatGPT-User e GPTBot da OpenAI, ClaudeBot da Anthropic e PerplexityBot. ChatGPT e Claude obtinham ficheiros JavaScript sem os executar. Gemini usa a infraestrutura do Googlebot, que renderiza JavaScript. Os crawlers podem mudar, por isso volte a testar depois de reformular o site.

O seu navegador executa os scripts da página, que constroem o texto após o carregamento. Um crawler que não executa scripts fica apenas com o HTML inicial, que numa aplicação renderizada no cliente é um contentor vazio. A renderização no servidor, a geração estática ou a pré-renderização colocam o texto final nesse HTML inicial.

Alguns sites enviam aos crawlers uma versão pré-renderizada e aos navegadores a página construída por scripts. O teste assinala esta situação quando um crawler recebe pelo menos 150 palavras e a versão recebida pelo navegador tem menos de 40. Mantenha as duas versões equivalentes no conteúdo, pois os motores de busca consideram cloaking mostrar conteúdos diferentes a bots e pessoas.

Uma firewall ou um serviço de proteção contra bots pode recusar o pedido ou responder com uma página de verificação antes de ele chegar ao site. Autorize o crawler nesse serviço, por exemplo nas definições de bots do Cloudflare. Os nossos pedidos partem de um único servidor, por isso um bloqueio aqui é um forte indício, mas não uma prova, do que o crawler real recebe.

Não. Mostra apenas o que um crawler consegue ler numa página. A menção da sua empresa por um assistente depende de muitas outras fontes. A análise gratuita de visibilidade em IA verifica respostas reais.

Ferramentas relacionadas

  • Verificador de tecnologias de sites

    Use este verificador para identificar as tecnologias de um site a partir de sinais visíveis e dados de DNS. Consulte as versões divulgadas e as evidências, depois compare dois sites com notas sobre o acesso de rastreadores de IA.

  • Verificação de rastreadores de IA

    Use este verificador de rastreadores de IA para analisar as regras do robots.txt, os sinais de indexação e as respostas HTTP. Identifique bloqueios antes de alterar as regras do seu site.

  • gerador e validador de llms.txt

    Use este gerador de llms.txt para criar um arquivo editável a partir de um site, de um sitemap XML ou de uma lista de páginas colada. Organize as secções, reveja as descrições e depois copie ou descarregue o Markdown.

Veja se a sua empresa aparece nas respostas da IA

Uma página que os crawlers conseguem ler é o ponto de partida. A análise gratuita de visibilidade em IA mostra como os assistentes respondem a perguntas sobre a sua empresa e o que deve melhorar a seguir.

Faça a análise gratuita de visibilidade em IA