ClaudeBot: crawler per l’addestramento gestito da Anthropic

ClaudeBot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: futuri modelli Claude. È gestito da Anthropic.

In breve

Gestore
Anthropic
Identificativo robots.txt
ClaudeBot
Scopo
Addestramento. I crawler per l’addestramento raccolgono pagine per i modelli futuri. Bloccarli non ferma i crawler che recuperano pagine per fornire risposte, perché hanno nomi distinti.
Cosa alimenta
futuri modelli Claude

Effetti del blocco

Se blocchi ClaudeBot, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: futuri modelli Claude. I crawler che recuperano pagine per fornire risposte hanno nomi distinti e potranno comunque leggere il tuo sito.

User agent

Uno user agent rappresentativo per ClaudeBot. Usiamo la documentazione degli operatori quando è disponibile la stringa completa. Le versioni e i dettagli del browser nei log effettivi del server possono variare.

ClaudeBot

Regole robots.txt per ClaudeBot

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: ClaudeBot
Allow: /

Per bloccare l’accesso

User-agent: ClaudeBot
Disallow: /

Il tuo sito gli consente l’accesso?

Il controllo dei crawler legge il tuo robots.txt per ClaudeBot e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.

Controlla se il tuo sito consente l’accesso a ClaudeBot

Domande su ClaudeBot

ClaudeBot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: futuri modelli Claude. È gestito da Anthropic.

Sta a te decidere. Se lo blocchi, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: futuri modelli Claude. Il blocco non riguarda i crawler che recuperano pagine per fornire risposte.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: ClaudeBot”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.