Strumento di verifica dei crawler AI

Usa questo strumento per esaminare le regole robots.txt, i segnali di indicizzazione e le risposte HTTP. Controlla gli accessi bloccati prima di modificare le regole del tuo sito.

Gratis, senza account né email. La verifica richiede alcuni secondi.

Puoi inserire la homepage o qualsiasi altra pagina. Verrà controllata solo quella pagina.

Questo strumento gratuito per verificare l’accesso dei crawler AI legge robots.txt, controlla i segnali meta robots e X-Robots-Tag e invia richieste usando gli user agent dei crawler AI. Ogni riga mostra la regola applicabile e la risposta HTTP. Gli esiti «consentito», «bloccato» e «non chiaro» descrivono ciò che abbiamo osservato dal nostro server: non garantiscono che un crawler reale riceva la stessa risposta.

Come funziona questa verifica

robots.txt
Il file robots.txt del sito viene letto una sola volta e le regole di ciascun crawler vengono applicate alla pagina come descritto nella RFC 9309: il gruppo che indica il crawler prevale sul gruppo valido per tutti i crawler.
Una richiesta per ogni crawler
La pagina viene richiesta usando lo user agent di ciascun crawler. La tabella mostra lo stato HTTP, l’eventuale verifica richiesta e la stringa dell’agente inviata. Google-Extended e Applebot-Extended sono token di controllo e non generano richieste separate. Googlebot e Bingbot vengono verificati solo in robots.txt.
Richiesta di controllo
La pagina viene richiesta anche come un normale browser. Se viene rifiutata anche questa richiesta, le richieste dei crawler non dicono nulla di specifico sul loro accesso e viene valutato soltanto robots.txt.
Il limite
Le nostre richieste provengono dal nostro indirizzo. Un firewall che verifica gli indirizzi IP pubblicati da un crawler può rifiutare la nostra richiesta e consentire comunque l’accesso al crawler reale. Per questo Googlebot e Bingbot vengono valutati solo in base a robots.txt.

Ogni crawler della tabella ha una pagina dedicata nell’elenco dei crawler AI.

Crea un robots.txt completo per l’AI · Controlla la lunghezza del titolo e della descrizione

Domande sui crawler AI

Inserisci il tuo dominio o l’indirizzo completo di una pagina e seleziona «Controlla la pagina». Leggi lo stato di ciascun crawler, esamina la riga robots.txt applicabile e la risposta HTTP, poi correggi le restrizioni indesiderate e ripeti il controllo. Viene verificata solo la pagina indicata. I risultati possono restare nella cache per dieci minuti.

Noindex chiede ai motori di ricerca di non includere una pagina nel loro indice. Noai e noimageai esprimono preferenze d’uso, supportate in modo diverso dai vari operatori. Nessuno di questi tag impedisce una richiesta HTTP. Questo strumento mostra i segnali rilevati separatamente dalle risposte di robots.txt e del firewall.

I crawler di ricerca, come OAI-SearchBot, indicizzano i contenuti per le risposte. I crawler attivati dagli utenti recuperano le pagine quando qualcuno lo chiede. I crawler usati per l’addestramento raccolgono contenuti per sviluppare i modelli. Puoi impostare separatamente le preferenze sull’addestramento. Google-Extended controlla anche il grounding di Gemini e alcuni sistemi di recupero attivati dagli utenti potrebbero ignorare robots.txt.

Una CDN, un firewall o un servizio di protezione dai bot può rifiutare le richieste in base allo user agent prima ancora che venga letto robots.txt. Alcuni prevedono un’impostazione per i crawler AI. Il sito continua ad aprirsi nel browser, quindi il blocco passa inosservato.

No. llms.txt è un file proposto per elencare le pagine principali di un sito destinate ai modelli linguistici. Per i crawler inclusi in questo controllo servono regole robots.txt che consentano l’accesso e un server che restituisca la pagina. Un file llms.txt non cambia nessuna delle due cose.

No. Significa solo che gli assistenti possono leggere la pagina. La possibilità che un’attività venga menzionata dipende da ciò che dicono la pagina e gli altri siti.

Scopri cosa dicono di te gli assistenti

La scansione gratuita legge il tuo sito, verifica gli stessi crawler e pone agli assistenti le domande dei tuoi potenziali clienti.