Analisador de logs de crawlers de IA

Use este analisador de logs de crawlers de IA para contar as visitas por bot, caminho, estado e dia. Compare os IPs de origem com as faixas oficiais, localmente. O seu log nunca é enviado.

Ler o registo do seu servidor

Nada é enviado. O seu registo permanece no seu computador.

Texto simples, CSV ou .gz. Até 250 MiB, incluindo o conteúdo descomprimido. Um formato por ficheiro.

As linhas de exemplo são fictícias e servem apenas para demonstrar o relatório.

Os logs do servidor registam os pedidos que chegaram ao seu servidor. Este analisador gratuito agrupa os agentes de utilizador de crawlers conhecidos e mostra as visitas diárias, os caminhos solicitados e os códigos de resposta. Uma visita indica que uma página foi obtida, não que foi citada ou recomendada. Os agentes de utilizador podem ser falsificados, por isso os números só podem ser confirmados depois de verificar os IPs de origem.

Como funciona

Leia o seu log
Escolha um arquivo de texto simples, CSV ou gzip, ou cole as linhas. Os logs combinados do Apache e Nginx, as linhas JSON do Caddy, o JSON do Cloudflare Logpush e os logs do CloudFront com o cabeçalho #Fields são detetados automaticamente. O CSV precisa de colunas de agente de utilizador, caminho, estado e data e hora, em qualquer ordem.
Conte os pedidos
Os identificadores de crawlers conhecidos são identificados como termos completos nos agentes de utilizador. Cada operador tem os seus próprios totais. Outros crawlers conhecidos são agrupados em Outros crawlers; os pedidos não classificados ficam separados. As datas são apresentadas em UTC e os parâmetros de consulta são removidos dos caminhos.
Mantenha o uso de memória limitado
O limite é de 250 MiB para o arquivo e para o seu conteúdo descomprimido, 256 KiB por registo, 100.000 caminhos distintos de crawlers, 100.000 pares distintos de erro e caminho entre grupos e 3.660 dias por grupo. A análise para com um erro quando um limite é atingido. Os 20 caminhos mais frequentes e os 20 caminhos com mais erros por grupo são exatos dentro desses limites.
Verifique a identidade
Descarregue listas oficiais de endereços guardadas em cache e compare os IPs de origem localmente. Faixas partilhadas apenas sustentam a identificação do operador. Listas em falta, IPs ausentes e cópias desatualizadas continuam visíveis; não é feita nenhuma consulta de DNS inverso.

Perguntas sobre registos de rastreadores

Não. Uma entrada no log regista um pedido. Não mostra o que um assistente respondeu, se citou a página ou se o visitante viu uma recomendação.

Google-Extended é um identificador de controlo de utilização no robots.txt, não um crawler HTTP separado. É o Googlebot que faz os pedidos. Applebot-Extended também controla a utilização do conteúdo rastreado e não faz pedidos separados.

O período selecionado pode não ter visitas, ou a sua CDN pode responder aos pedidos antes de chegarem ao servidor. Consulte os logs da CDN e do servidor de origem. A ausência do cabeçalho de agente de utilizador também impede a classificação.

Os registos malformados são contados e excluídos do resumo. O formato detetado aplica-se ao arquivo inteiro. Analise separadamente logs com formatos diferentes.

Use user_agent, path, status e timestamp, em qualquer ordem. Também são aceites nomes alternativos comuns, como UserAgent, uri, status_code, time e nomes de campos do Cloudflare. Há suporte para campos entre aspas, aspas escapadas e campos com várias linhas.

Ferramentas relacionadas

  • Verificação de rastreadores de IA

    Use este verificador de rastreadores de IA para analisar as regras do robots.txt, os sinais de indexação e as respostas HTTP. Identifique bloqueios antes de alterar as regras do seu site.

  • Verificador de IP de crawlers

    Use este verificador para comparar até 50 endereços IP com os intervalos publicados pelos operadores de bots. Cole os IPs ou um excerto de log e veja a que operadores correspondem.

  • Tráfego de referência de IA no GA4

    Acompanhe o tráfego de referência de IA com um filtro de origem no GA4. Escolha os assistentes, teste a expressão regular com a sua lista de origens e copie-a para o relatório.

Veja se os assistentes mencionam a sua empresa

As visitas dos crawlers mostram acesso. A verificação gratuita de visibilidade em IA mostra que empresas os assistentes mencionam nas respostas.

Faça a verificação gratuita de visibilidade em IA