Strumento di verifica dei crawler AI
Usa questo strumento per esaminare le regole robots.txt, i segnali di indicizzazione e le risposte HTTP. Controlla gli accessi bloccati prima di modificare le regole del tuo sito.
Gratis, senza account né email. La verifica richiede alcuni secondi.
Questo strumento gratuito per verificare l’accesso dei crawler AI legge robots.txt, controlla i segnali meta robots e X-Robots-Tag e invia richieste usando gli user agent dei crawler AI. Ogni riga mostra la regola applicabile e la risposta HTTP. Gli esiti «consentito», «bloccato» e «non chiaro» descrivono ciò che abbiamo osservato dal nostro server: non garantiscono che un crawler reale riceva la stessa risposta.
Come funziona questa verifica
- robots.txt
- Il file robots.txt del sito viene letto una sola volta e le regole di ciascun crawler vengono applicate alla pagina come descritto nella RFC 9309: il gruppo che indica il crawler prevale sul gruppo valido per tutti i crawler.
- Una richiesta per ogni crawler
- La pagina viene richiesta usando lo user agent di ciascun crawler. La tabella mostra lo stato HTTP, l’eventuale verifica richiesta e la stringa dell’agente inviata. Google-Extended e Applebot-Extended sono token di controllo e non generano richieste separate. Googlebot e Bingbot vengono verificati solo in robots.txt.
- Richiesta di controllo
- La pagina viene richiesta anche come un normale browser. Se viene rifiutata anche questa richiesta, le richieste dei crawler non dicono nulla di specifico sul loro accesso e viene valutato soltanto robots.txt.
- Il limite
- Le nostre richieste provengono dal nostro indirizzo. Un firewall che verifica gli indirizzi IP pubblicati da un crawler può rifiutare la nostra richiesta e consentire comunque l’accesso al crawler reale. Per questo Googlebot e Bingbot vengono valutati solo in base a robots.txt.
Ogni crawler della tabella ha una pagina dedicata nell’elenco dei crawler AI.
Crea un robots.txt completo per l’AI · Controlla la lunghezza del titolo e della descrizione
Domande sui crawler AI
Scopri cosa dicono di te gli assistenti
La scansione gratuita legge il tuo sito, verifica gli stessi crawler e pone agli assistenti le domande dei tuoi potenziali clienti.