Generatore di robots.txt per l’AI
Usa questo generatore di robots.txt per scegliere quali crawler AI possono leggere il tuo sito. Modifica una configurazione predefinita e scarica le regole AI da integrare nel file esistente.
Gratis e senza registrazione. Le tue scelte restano nell’URL di questa pagina, così puoi condividerle.

Le tue regole per i crawler AI in robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Aggiungi queste regole al file robots.txt nella directory principale del sito e conserva l’eventuale gruppo User-agent: * già presente.
Controlla a quali crawler il tuo sito consente l’accesso ora
Possiamo anche configurare per te robots.txt, le regole della CDN e la sitemap, secondo le tue scelte, e ricontrollarli dopo. Scopri la configurazione dell’accesso dei crawler AI
Questo generatore gratuito di robots.txt scrive le regole per i crawler presenti nella directory di AIGROW. Per impostazione predefinita, consente l’accesso ai crawler di ricerca e a quelli attivati su richiesta degli utenti, ma blocca i crawler usati per l’addestramento. Scegli un’altra configurazione predefinita o modifica le regole per i singoli crawler, aggiungi i percorsi da escludere, poi copia o scarica le regole per il tuo sito.
Come funziona
- Scegli da dove partire
- La configurazione predefinita consente l’accesso ai crawler di ricerca e a quelli che aprono una pagina su richiesta, ma blocca i crawler usati per l’addestramento. Puoi consentire o bloccare tutti i crawler, oppure modificare le regole per ciascuno.
- Un gruppo per le regole identiche
- I crawler con le stesse regole condividono un gruppo con più righe User-agent. I nomi provengono dalla directory dei crawler AI. Googlebot e Bingbot sono esclusi perché eseguono la scansione anche per Google Search e Bing.
- I percorsi si applicano a ogni gruppo
- Come descritto nella RFC 9309, un crawler indicato in un gruppo non eredita le regole del gruppo User-agent: *. I percorsi Disallow aggiuntivi vengono inseriti in ogni gruppo AI. Gli altri percorsi restano accessibili ai crawler che hai autorizzato.
- Conserva il resto del file
- Il generatore scrive solo i gruppi AI. Conserva il gruppo User-agent: * e le altre voci del file esistente, compresi i link alla sitemap. Sostituisci gli eventuali vecchi gruppi che indicano gli stessi crawler e riporta i percorsi che vuoi continuare a escludere.
Domande sui crawler AI
Gli assistenti AI possono leggere le pagine della tua attività?
Avvia la scansione gratuita per verificare l’accesso e scoprire cosa dicono gli assistenti della tua attività.