cohere-ai: una preferenza obsoleta in robots.txt

Cohere non elenca attualmente alcun crawler attivo per l’addestramento dei modelli. Il token cohere-ai viene mantenuto come verifica legacy di robots.txt, senza che un crawler attivo lo richieda.

In breve

Gestore
Cohere
Identificativo robots.txt
cohere-ai
Scopo
preferenza legacy in robots.txt
Cosa alimenta
preferenza legacy in robots.txt

Effetti del blocco

Una voce per cohere-ai registra una preferenza relativa a quel token. Cohere non lo elenca attualmente tra i crawler attivi per l’addestramento.

Regole robots.txt per cohere-ai

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: cohere-ai
Allow: /

Per bloccare l’accesso

User-agent: cohere-ai
Disallow: /

Il tuo sito gli consente l’accesso?

cohere-ai è un nome usato solo nelle regole robots.txt. Il controllo dei crawler legge robots.txt per quel nome e non invia richieste fingendosi quel crawler.

Controlla se il tuo sito consente l’accesso a cohere-ai

Domande su cohere-ai

Cohere non elenca attualmente alcun crawler attivo per l’addestramento dei modelli. Il token cohere-ai viene mantenuto come verifica legacy di robots.txt, senza che un crawler attivo lo richieda.

Una voce per cohere-ai registra una preferenza relativa a quel token. Cohere non lo elenca attualmente tra i crawler attivi per l’addestramento.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: cohere-ai”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.