Analizzatore dei log dei crawler AI

Usa questo strumento per analizzare i log dei crawler AI e contare le visite per bot, percorso, stato e giorno. Confronta gli IP di origine con gli intervalli ufficiali in locale. Il tuo log non viene mai caricato.

Leggi il log del tuo server

Non viene caricato nulla. Il log rimane sul tuo computer.

Testo semplice, CSV o .gz. Fino a 250 MiB, incluso il contenuto decompresso. Un solo formato per file.

Le righe di esempio sono fittizie e servono solo a mostrare il report.

I log del server registrano le richieste che lo raggiungono. Questo strumento gratuito raggruppa gli user agent dei crawler noti e mostra le visite giornaliere, i percorsi richiesti e i codici di risposta. Una visita indica che una pagina è stata richiesta, non che sia stata citata o consigliata. Gli user agent possono essere falsificati, quindi i conteggi restano indicativi finché non verifichi gli IP di origine.

Come funziona

Leggi il tuo log
Seleziona un file di testo, CSV o gzip, oppure incolla le righe. I log combined di Apache e Nginx, le righe JSON di Caddy, i JSON di Cloudflare Logpush e i log CloudFront con intestazione #Fields vengono riconosciuti automaticamente. I CSV devono contenere colonne per user agent, percorso, stato e data e ora, in qualsiasi ordine.
Conta le richieste
I token dei crawler noti vengono riconosciuti solo se compaiono come token interi nell'user agent. Ogni operatore ha un conteggio separato. Gli altri crawler noti sono raggruppati in Altri crawler; le richieste non classificate restano separate. Le date sono mostrate in UTC e le stringhe di query vengono rimosse dai percorsi.
Limita l'uso della memoria
Il limite è di 250 MiB per il file e per il suo contenuto decompresso, 256 KiB per record, 100.000 percorsi distinti richiesti dai crawler, 100.000 coppie distinte di errore e percorso tra tutti i gruppi e 3660 giorni per gruppo. L'analisi si interrompe con un errore quando viene raggiunto un limite. I primi 20 percorsi e i primi 20 percorsi con errori per gruppo sono conteggiati esattamente entro questi limiti.
Verifica l'identità
Scarica gli elenchi memorizzati nella cache degli intervalli di indirizzi ufficiali, poi confronta gli IP di origine in locale. Gli intervalli condivisi avvalorano solo l'attribuzione all'operatore. Gli elenchi mancanti, gli IP assenti e le copie non aggiornate restano visibili; non viene effettuata alcuna richiesta DNS inversa.

Domande sui log dei crawler

No. Una voce nel log registra una richiesta. Non mostra cosa ha risposto un assistente, se ha citato la pagina o se il visitatore ha visto un consiglio.

Google-Extended è un token di robots.txt che controlla l'uso dei contenuti, non un crawler HTTP distinto. Le richieste vengono effettuate da Googlebot. Anche Applebot-Extended controlla l'uso dei contenuti acquisiti, senza effettuare richieste separate.

Nel periodo selezionato potrebbero non esserci state visite, oppure la tua CDN potrebbe aver risposto alle richieste prima che raggiungessero il server. Controlla sia i log edge sia quelli del server di origine. Se manca l'intestazione user agent, le richieste non possono essere classificate.

I record non validi vengono conteggiati ed esclusi dal riepilogo. Il formato rilevato viene applicato all'intero file. Analizza separatamente i log con formati diversi.

Usa user_agent, path, status e timestamp, in qualsiasi ordine. Sono accettati anche alias comuni come UserAgent, uri, status_code, time e i nomi dei campi Cloudflare. Sono supportati i campi tra virgolette, le virgolette precedute da un carattere di escape e i campi su più righe.

Strumenti correlati

  • Verifica dei crawler AI

    Usa questo strumento per esaminare le regole robots.txt, i segnali di indicizzazione e le risposte HTTP. Controlla gli accessi bloccati prima di modificare le regole del tuo sito.

  • Verifica degli IP dei crawler

    Confronta fino a 50 indirizzi con gli intervalli IP dei bot pubblicati dai rispettivi gestori. Incolla gli IP o un estratto dei log, poi esamina le corrispondenze.

  • Traffico da referral AI in GA4

    Monitora il traffico da referral AI con un filtro per sorgente in GA4. Scegli gli assistenti, prova l’espressione regolare sul tuo elenco di sorgenti e copiala nel report.

Scopri se gli assistenti nominano la tua attività

Le visite dei crawler indicano l'accesso al sito. La verifica gratuita della visibilità AI mostra quali attività gli assistenti nominano nelle risposte.

Verifica gratis la tua visibilità AI