Generatore di robots.txt

Usa questo generatore di robots.txt per creare il file dell'intero sito. Parti dalle impostazioni predefinite di WordPress, Shopify, Wix o Squarespace, poi verifica come il file tratta qualsiasi percorso.

Gratis, senza account. Il file viene creato nel tuo browser e non viene inviato nulla.

Parti da

Ogni crawler può richiedere qualsiasi percorso. Aggiungi qui sotto i percorsi a cui vuoi impedire l’accesso.

Facoltativo. Serve per le righe della sitemap e per il link al tester robots.txt.

Gruppo 1

* indica tutti i crawler che non hanno un gruppo dedicato. Altri esempi: Googlebot, Bingbot.

Percorsi da escludere, uno per riga, come /admin/ o /*?sort=.

Eccezioni all'interno di un percorso escluso, una per riga.

Facoltativo. Google lo ignora. Bing accetta da 1 a 30 secondi.

Indirizzi completi. Le righe delle sitemap si applicano a tutti i crawler.

Il tuo robots.txt

Riletti dal parser: 1 gruppo, 0 regole, 0 righe della sitemap, 64 byte.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Verifica un percorso

Consentito Googlebot non ha un gruppo dedicato e segue le regole del gruppo *. Nessuna regola corrisponde a questo percorso, quindi l'accesso è consentito.

Il file robots.txt si trova nella radice del sito e indica ai crawler quali percorsi possono richiedere. Questo generatore scrive gruppi di user agent, regole Allow e Disallow e righe Sitemap, poi rilegge il file con il parser RFC 9309 usato dal nostro strumento di verifica robots.txt. Così puoi testare un percorso prima di caricare il file.

Come funziona

Gruppi e regole
Ogni gruppo indica uno o più user agent, i percorsi che non possono richiedere (Disallow) e le eccezioni (Allow). Un percorso inizia con / o *, mentre $ indica la fine di un URL. Un crawler segue il gruppo che lo nomina; se non ce n'è uno, usa il gruppo *.
Impostazioni predefinite delle piattaforme
Il modello WordPress riproduce il file generato da WordPress. I modelli Shopify, Wix e Squarespace riproducono i file predefiniti pubblicati dai siti su quelle piattaforme nell'ottobre 2026. Su Shopify le modifiche si fanno tramite il template del tema robots.txt.liquid; Wix offre un editor robots.txt nelle impostazioni SEO. Squarespace non documenta un modo per caricare un file personalizzato, quindi il suo modello serve come riferimento.
Crawl delay
Google ignora Crawl-delay. Bing lo interpreta come un intervallo da 1 a 30 secondi. Il generatore accetta solo secondi interi da 1 a 30 e scrive la riga soltanto nei gruppi per cui imposti il valore.
Verificato prima della copia
Il file finale viene riletto con il parser RFC 9309 usato dal nostro strumento di verifica robots.txt. La pagina ti avvisa se una riga verrebbe interpretata diversamente da quanto previsto o se il file supera il limite di 500 KiB di Google. Il test dei percorsi mostra quale riga determina il risultato per un dato crawler.

Domande su robots.txt

No. Impedisce la scansione, ma Google può comunque indicizzare un URL bloccato senza leggerne il contenuto, se altre pagine contengono link a quell'URL. Per escludere una pagina dai risultati, consenti la scansione e aggiungi un meta tag robots noindex o un header X-Robots-Tag.

Nella radice dell'host, per esempio https://example.com/robots.txt. Ogni sottodominio e ogni protocollo richiedono un file proprio; un file in una cartella viene ignorato. Su Shopify, Wix e Squarespace il file viene pubblicato dalla piattaforma, quindi le modifiche si fanno nelle impostazioni o nel tema.

Un gruppo deve contenere almeno una riga con una regola. Un Disallow vuoto permette tutto e impedisce che gli user agent del gruppo successivo vengano associati a questo.

Google e RFC 9309 scelgono la regola più specifica, cioè quella con il percorso più lungo. Se le regole Allow e Disallow hanno la stessa lunghezza, prevale Allow. Il test dei percorsi mostra la riga decisiva.

Aggiungi un gruppo per ogni crawler oppure usa il generatore di robots.txt per l'AI, che elenca i crawler AI in base al loro scopo e scrive le relative righe. Aggiungi quelle righe sotto i gruppi esistenti.

Strumenti correlati

  • Tester robots.txt

    Verifica fino a 50 percorsi con il tester robots.txt. Confronta le regole per i crawler di ricerca e AI, controlla le risorse bloccate e le sitemap, poi modifica una bozza e ripeti il test.

  • Generatore di robots.txt per l’AI

    Usa questo generatore di robots.txt per scegliere quali crawler AI possono leggere il tuo sito. Modifica una configurazione predefinita e scarica le regole AI da integrare nel file esistente.

  • Verifica SEO

    Usa questa verifica SEO per analizzare fino a 25 pagine e individuare problemi di scansione e SEO on-page. Esamina gli URL interessati e l'elenco delle correzioni, oppure aggiungi un piccolo campione di pagine di un concorrente.

Controlla come la tua azienda appare nelle risposte dell'AI

Le pagine che i crawler possono leggere e seguire sono il punto di partenza. La scansione gratuita della visibilità AI mostra come gli assistenti rispondono alle domande sulla tua azienda e su cosa intervenire.

Avvia la scansione gratuita della visibilità AI