L’AI riesce a leggere il mio sito web?

L’AI riesce a leggere il mio sito web? Confronta testo, titoli, link e dati strutturati nell’HTML originale ricevuto dai crawler. Controlla le regole di accesso e individua le pagine che dipendono da JavaScript.

Gratis, senza account. Dieci controlli all’ora in totale tra gli strumenti per verificare la leggibilità per l’AI, la versione mobile e le tecnologie utilizzate.

Inviamo l’indirizzo alla nostra API per questo controllo. I risultati possono restare in cache per cinque minuti.

I crawler AI leggono l’HTML inviato dal tuo server. Nello studio di Vercel di dicembre 2024, i crawler di ChatGPT, Claude e Perplexity non eseguivano JavaScript, quindi non vedevano i testi aggiunti dagli script. Inserisci l’indirizzo di una pagina: la richiederemo come quattro crawler AI e come browser, così potrai vedere quali testi, titoli e link riceve ciascuno.

Come usare questo strumento di verifica

Cinque richieste per una pagina
Il nostro server richiede la pagina come GPTBot, ClaudeBot, PerplexityBot e OAI-SearchBot, usando lo user agent pubblicato dai rispettivi operatori, e una volta come browser Chrome desktop. Ogni richiesta segue fino a tre reindirizzamenti e legge al massimo 3 MB.
Prima controlliamo robots.txt
Leggiamo il file robots.txt del sito prima di inviare richieste come crawler. Se robots.txt ne blocca uno, non lo inviamo alla pagina e mostriamo la regola che lo blocca.
Direttive della pagina e llms.txt
Per ogni crawler mostriamo le direttive restrittive meta robots e X-Robots-Tag, insieme alla documentazione del relativo user agent. noai e noimageai sono richieste non standard. Controlliamo llms.txt come segnale volontario secondario. Non misuriamo la quota di testo renderizzato: per confrontare il numero di parole usiamo l’HTML originale della versione desktop.
Non eseguiamo JavaScript
Testo, titoli, link, titolo della pagina, descrizione e JSON-LD provengono dall’HTML così come lo ha inviato il server. Non eseguiamo nulla sulla pagina. È il modo in cui i crawler dello studio di Vercel leggevano le pagine.
Come assegniamo i risultati
Leggibile: sono arrivate almeno 40 parole e nulla suggerisce che il resto richieda JavaScript. Parzialmente leggibile: la pagina è breve, con meno di 150 parole e indizi di contenuti generati da script, oppure contiene meno della metà delle parole presenti nella copia ricevuta dal browser. Pagina vuota: nessuna parola leggibile in presenza di script, oppure meno di 40 parole con un contenitore dell’app vuoto, un avviso su JavaScript o molti script incorporati. Bloccato: robots.txt, un rifiuto o una verifica antibot hanno fermato il crawler.

Fonte sull’esecuzione degli script da parte dei crawler: Vercel, “The rise of the AI crawler”, 17 dicembre 2024. I crawler di OpenAI, Anthropic, Meta, ByteDance e Perplexity esaminati nello studio non eseguivano JavaScript.

Domande su questo strumento di verifica

Nello studio di Vercel “The rise of the AI crawler” (17 dicembre 2024), nessuno dei principali crawler AI eseguiva il rendering di JavaScript, inclusi OAI-SearchBot, ChatGPT-User e GPTBot di OpenAI, ClaudeBot di Anthropic e PerplexityBot. ChatGPT e Claude scaricavano i file JavaScript senza eseguirli. Gemini usa l’infrastruttura di Googlebot, che esegue il rendering di JavaScript. I crawler possono cambiare: ripeti il test dopo un restyling del sito.

Il tuo browser esegue gli script della pagina, che generano il testo dopo il caricamento. Un crawler che non esegue script vede solo l’HTML iniziale: in un’app renderizzata lato client, questo contiene soltanto un contenitore vuoto. Il rendering sul server, la generazione statica o il prerendering inseriscono il testo completo nell’HTML iniziale.

Alcuni siti inviano ai crawler una copia prerenderizzata e ai browser la pagina generata dagli script. Il controllo lo segnala quando un crawler riceve almeno 150 parole e la copia per il browser ne contiene meno di 40. Mantieni sostanzialmente uguali le due versioni: i motori di ricerca considerano cloaking mostrare contenuti diversi ai bot e alle persone.

Un firewall o un servizio di protezione dai bot può rifiutare la richiesta o rispondere con una pagina di verifica prima che arrivi al sito. Consenti l’accesso al crawler nelle impostazioni del servizio, per esempio nelle impostazioni per i bot di Cloudflare. Le nostre richieste partono da un solo server: un blocco qui è un forte indizio, ma non una prova, di ciò che riceve il crawler reale.

No. Mostra solo ciò che un crawler riesce a leggere su una pagina. Se un assistente nomina la tua attività dipende da molte altre fonti. La scansione gratuita della visibilità AI controlla le risposte reali.

Strumenti correlati

  • Strumento per identificare le tecnologie di un sito web

    Usa questo strumento per identificare le tecnologie di un sito web dai segnali visibili e dal DNS. Esamina le versioni dichiarate e le prove, poi confronta due siti con indicazioni sull’accesso dei crawler AI.

  • Verifica dei crawler AI

    Usa questo strumento per esaminare le regole robots.txt, i segnali di indicizzazione e le risposte HTTP. Controlla gli accessi bloccati prima di modificare le regole del tuo sito.

  • Generatore e validatore di llms.txt

    Usa questo generatore di llms.txt per creare un file modificabile da un sito web, una sitemap XML o un elenco di pagine incollato. Organizza le sezioni, rivedi le descrizioni, poi copia o scarica il Markdown.

Controlla se l’AI nomina la tua attività

Una pagina leggibile dai crawler è il punto di partenza. La scansione gratuita della visibilità AI mostra come gli assistenti rispondono alle domande sulla tua attività e su cosa intervenire dopo.

Avvia la scansione gratuita della visibilità AI