Generatore di robots.txt per l’AI
Scegli quali crawler AI possono leggere il tuo sito. Parti da una configurazione predefinita, modifica le regole per ogni crawler e scarica la sezione dedicata all’AI del tuo robots.txt. È gratis e non serve un account.
Gratis e senza registrazione. Le tue scelte restano nell’URL di questa pagina, così puoi condividerle.
Le tue regole per i crawler AI in robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Aggiungi queste regole al file robots.txt nella directory principale del sito e conserva l’eventuale gruppo User-agent: * già presente.
Controlla a quali crawler il tuo sito consente l’accesso ora
Questo generatore gratuito crea regole robots.txt per i crawler presenti nella directory di AIGrow. Per impostazione predefinita, consente l’accesso ai crawler di ricerca e a quelli che aprono le pagine su richiesta, ma blocca i crawler usati per l’addestramento. Scegli un’altra configurazione predefinita o modifica le regole per i singoli crawler, aggiungi i percorsi da escludere, poi copia o scarica le regole per il tuo sito.
Come funziona
- Scegli da dove partire
- La configurazione predefinita consente l’accesso ai crawler di ricerca e a quelli che aprono una pagina su richiesta, ma blocca i crawler usati per l’addestramento. Puoi consentire o bloccare tutti i crawler oppure impostare le regole per ciascuno.
- Un solo gruppo per le stesse regole
- I crawler soggetti alle stesse regole condividono un gruppo con più righe User-agent. I nomi provengono dalla directory dei crawler AI. Googlebot e Bingbot sono esclusi perché eseguono la scansione anche per Google Search e Bing.
- I percorsi si applicano a tutti i gruppi
- Un crawler indicato in un gruppo non eredita le regole del gruppo User-agent: *, come descritto nella RFC 9309. I percorsi Disallow aggiuntivi vengono inseriti in ogni gruppo AI. I crawler a cui consenti l’accesso possono comunque visitare gli altri percorsi.
- Conserva il resto del file
- Il generatore crea solo i gruppi AI. Conserva il gruppo User-agent: * e le altre voci del file esistente, compresi i link alla sitemap. Sostituisci i vecchi gruppi che indicano gli stessi crawler e riporta i percorsi che vuoi continuare a escludere.
Domande sui crawler AI
Gli assistenti AI possono leggere le pagine della tua attività?
Esegui la scansione gratuita per verificare l’accesso e scoprire cosa dicono gli assistenti della tua attività.