Tester robots.txt

Verifica fino a 50 percorsi con il tester robots.txt. Confronta le regole per i crawler di ricerca e AI, controlla le risorse bloccate e le sitemap, poi modifica una bozza e ripeti il test.

Gratis, senza account. Dieci controlli del sito all’ora.

robots.txt da testare

Il nostro server legge /robots.txt su questo host. Il file può restare nella cache per cinque minuti.

Un percorso o un indirizzo completo. Se lasci vuoto, verrà usato l’indirizzo qui sopra.

Fino a 50 percorsi. Se compilato, questo campo sostituisce il singolo percorso qui sopra. Gli URL completi devono appartenere al sito che ospita il file attivo.

Un tester robots.txt verifica se un crawler può accedere a un URL in base alle regole robots.txt del sito. Questo strumento legge il file pubblicato o una bozza incollata e applica le regole descritte da RFC 9309 e Google: usa il gruppo relativo al crawler, dà precedenza alla regola corrispondente più lunga e, a parità di lunghezza, ad Allow. Mostra la riga decisiva.

Come usare questo strumento di verifica

Leggi il file pubblicato o incolla una bozza
Inserisci un sito per leggere il suo /robots.txt pubblicato, oppure incolla una bozza per provarla prima della pubblicazione. La bozza viene inviata al nostro server solo per verificare le corrispondenze: non viene scaricata alcuna risorsa.
Scegli il percorso e il crawler
Inserisci un percorso oppure fino a 50 percorsi, uno per riga. Confronta Googlebot, Bingbot e tutti i token AI elencati in un’unica matrice. I gruppi con lo stesso nome vengono uniti; se non ce ne sono, si applicano le regole generiche. Gli URL completi devono appartenere al sito del file pubblicato.
Leggi la regola decisiva
Prevale il pattern corrispondente più lungo e, a parità di lunghezza, prevale Allow. I caratteri jolly e gli ancoraggi di fine seguono il comportamento di Google. Vengono letti i primi 500 KiB. Una risposta 4xx, tranne 429, consente la scansione; in caso di errori del server viene applicato il blocco totale, senza presumere l’esistenza di un file precedente nella cache.

Domande su questo strumento di verifica

Una risposta 404 o un altro errore 4xx indica che non ci sono regole, quindi tutti i crawler possono accedere a tutto il sito. Una risposta 5xx, un timeout o una pagina di verifica dei bot sono casi diversi: RFC 9309 indica ai crawler di considerare bloccato l’intero sito finché non riescono a leggere il file.

No. Disallow impedisce la scansione, ma una pagina bloccata può comunque essere indicizzata tramite i link che la raggiungono, senza una descrizione. Per escluderla dai risultati di ricerca, consenti la scansione e aggiungi un meta tag noindex o un header X-Robots-Tag.

I principali operatori dichiarano di rispettarlo, e GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended hanno ciascuno un token pubblicato. robots.txt vincola solo i crawler che scelgono di seguirlo: se ti serve un blocco rigido, usa anche le regole del firewall.

Google non supporta Crawl-delay. Bing e alcuni altri crawler lo leggono. Il tester segnala la riga, così sai che non ha alcun effetto su Googlebot.

Strumenti correlati

  • Generatore di robots.txt per l’AI

    Usa questo generatore di robots.txt per scegliere quali crawler AI possono leggere il tuo sito. Modifica una configurazione predefinita e scarica le regole AI da integrare nel file esistente.

  • Generatore di robots.txt

    Usa questo generatore di robots.txt per creare il file dell'intero sito. Parti dalle impostazioni predefinite di WordPress, Shopify, Wix o Squarespace, poi verifica come il file tratta qualsiasi percorso.

  • Verifica per AI Overviews

    Usa questo strumento per verificare l'accesso di Googlebot a una pagina, l'indicizzazione e le impostazioni degli snippet. Leggi i risultati prima di modificare le impostazioni di accesso.

Controlla se la tua attività compare nelle risposte AI

I controlli tecnici ti aiutano a sistemare una pagina. La scansione gratuita della visibilità AI mostra le risposte verificate per la tua attività e le prossime cose su cui lavorare.

Avvia la scansione gratuita della visibilità AI