Generatore di robots.txt per l’AI

Usa questo generatore di robots.txt per scegliere quali crawler AI possono leggere il tuo sito. Modifica una configurazione predefinita e scarica le regole AI da integrare nel file esistente.

Gratis e senza registrazione. Le tue scelte restano nell’URL di questa pagina, così puoi condividerle.

Configurazione predefinita

OAI-SearchBot

OpenAI: Ricerca di ChatGPT

Claude-SearchBot

Anthropic: Ricerca di Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri e Spotlight

DuckAssistBot

DuckDuckGo: Risposte di DuckDuckGo

MistralAI-Index

Mistral: Ricerca Vibe

Meta-WebIndexer

Meta: Ricerca con Meta AI

Amzn-SearchBot

Amazon: Ricerca Alexa

YouBot

You.com: Risposte di You.com

Crawler attivati dall’utente

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Crawler per l’addestramento

GPTBot

OpenAI: futuri modelli OpenAI

ClaudeBot

Anthropic: futuri modelli Claude

Google-Extended

Google: Addestramento e grounding di Gemini

Applebot-Extended

Apple: Addestramento di Apple Intelligence

MistralAI-Training

Mistral: futuri modelli Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Prodotti e modelli Amazon

CCBot

Common Crawl: il dataset aperto su cui viene addestrata la maggior parte dei modelli

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: preferenza legacy in robots.txt

Googlebot e Bingbot non sono inclusi nel file. Eseguono scansioni anche per Google Search e Bing, quindi il gruppo User-agent: * continua a gestirli. Per escludere le tue pagine dall’addestramento e dal grounding di Gemini, blocca Google-Extended.

Facoltativo. Un percorso per riga, fino a 20 righe. Inizia ogni percorso con / e non usare spazi o #. Questi percorsi sono inclusi nell’URL condiviso.

Le tue regole per i crawler AI in robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Aggiungi queste regole al file robots.txt nella directory principale del sito e conserva l’eventuale gruppo User-agent: * già presente.

Controlla a quali crawler il tuo sito consente l’accesso ora

Possiamo anche configurare per te robots.txt, le regole della CDN e la sitemap, secondo le tue scelte, e ricontrollarli dopo. Scopri la configurazione dell’accesso dei crawler AI

Questo generatore gratuito di robots.txt scrive le regole per i crawler presenti nella directory di AIGROW. Per impostazione predefinita, consente l’accesso ai crawler di ricerca e a quelli attivati su richiesta degli utenti, ma blocca i crawler usati per l’addestramento. Scegli un’altra configurazione predefinita o modifica le regole per i singoli crawler, aggiungi i percorsi da escludere, poi copia o scarica le regole per il tuo sito.

Come funziona

Scegli da dove partire
La configurazione predefinita consente l’accesso ai crawler di ricerca e a quelli che aprono una pagina su richiesta, ma blocca i crawler usati per l’addestramento. Puoi consentire o bloccare tutti i crawler, oppure modificare le regole per ciascuno.
Un gruppo per le regole identiche
I crawler con le stesse regole condividono un gruppo con più righe User-agent. I nomi provengono dalla directory dei crawler AI. Googlebot e Bingbot sono esclusi perché eseguono la scansione anche per Google Search e Bing.
I percorsi si applicano a ogni gruppo
Come descritto nella RFC 9309, un crawler indicato in un gruppo non eredita le regole del gruppo User-agent: *. I percorsi Disallow aggiuntivi vengono inseriti in ogni gruppo AI. Gli altri percorsi restano accessibili ai crawler che hai autorizzato.
Conserva il resto del file
Il generatore scrive solo i gruppi AI. Conserva il gruppo User-agent: * e le altre voci del file esistente, compresi i link alla sitemap. Sostituisci gli eventuali vecchi gruppi che indicano gli stessi crawler e riporta i percorsi che vuoi continuare a escludere.

Domande sui crawler AI

Scrive gruppi User-agent con regole Allow o Disallow per i crawler presenti nella directory dei crawler AI, esclusi Googlebot e Bingbot, che eseguono la scansione anche per Google Search e Bing. I crawler con le stesse regole condividono un gruppo. Puoi copiare il testo o scaricarlo come robots.txt, poi aggiungerlo al file esistente.

Svolgono compiti diversi e hanno nomi diversi. I crawler di ricerca creano l’indice consultato dagli assistenti. I crawler attivati su richiesta aprono una pagina quando qualcuno lo chiede. Quelli usati per l’addestramento raccolgono pagine per i modelli futuri, quindi puoi stabilire regole distinte.

robots.txt contiene richieste rivolte ai crawler, come descritto nella documentazione dei rispettivi operatori. Il file indica le regole che chiedi loro di seguire.

Va nella directory principale del sito, per esempio https://example.com/robots.txt. Se hai già un file in quella posizione, conserva il gruppo User-agent: * e le altre voci, e aggiorna i gruppi AI con le regole generate.

Gli assistenti AI possono leggere le pagine della tua attività?

Avvia la scansione gratuita per verificare l’accesso e scoprire cosa dicono gli assistenti della tua attività.