Gli assistenti AI possono leggere il tuo sito?
Inserisci l'indirizzo di una pagina. La verifica legge il file robots.txt e richiede la pagina come farebbe ciascun crawler AI, poi mostra quali crawler possono leggerla e quali vengono respinti.
Gratis, senza account né email. La verifica richiede alcuni secondi.
La verifica dei crawler AI legge il file robots.txt di una pagina e richiede la pagina una volta per ciascun crawler AI, tra cui OAI-SearchBot, ChatGPT-User, PerplexityBot e Claude-User. Mostra quali crawler possono leggere la pagina e quali vengono respinti da un firewall o da una CDN. La verifica è gratuita, non richiede un account e richiede pochi secondi.
Come funziona questa verifica
- robots.txt
- Il file robots.txt del sito viene letto una volta e le regole per la pagina vengono applicate a ciascun crawler secondo RFC 9309: il gruppo che nomina il crawler prevale su quello valido per tutti i crawler.
- Una richiesta per ciascun crawler
- La pagina viene richiesta una volta con lo user agent pubblicato da ciascun crawler. Se il server restituisce la pagina, questa è considerata leggibile; se rifiuta la richiesta o mostra una pagina di verifica, il crawler è considerato respinto.
- Richiesta di controllo
- La pagina viene richiesta anche come farebbe un normale browser. Se anche questa richiesta viene rifiutata, le richieste dei crawler non permettono di trarre conclusioni specifiche su di loro e viene valutato solo robots.txt.
- Il limite
- Le nostre richieste partono dal nostro indirizzo. Un firewall che verifica gli indirizzi IP pubblicati da un crawler può respingere la nostra richiesta e ammettere comunque il crawler autentico. Per questo Googlebot e Bingbot vengono valutati solo in base a robots.txt.
Ogni crawler della tabella ha una pagina dedicata nell’elenco dei crawler AI.
Domande sui crawler AI
Scopri cosa dicono di te gli assistenti
La scansione gratuita legge il tuo sito, verifica gli stessi crawler e pone agli assistenti le domande che fanno i tuoi potenziali clienti.