cohere-ai: een verouderde voorkeur in robots.txt
Cohere vermeldt momenteel geen actieve crawler voor modeltraining. Het token cohere-ai blijft behouden als controle op eerdere voorkeuren in robots.txt, zonder dat er een verzoek van een actieve crawler is.
In één oogopslag
- Beheerder
- Cohere
- robots.txt-token
cohere-ai- Doel
- eerdere voorkeur in robots.txt
- Waarvoor de gegevens worden gebruikt
- eerdere voorkeur in robots.txt
Wat blokkeren verandert
Een vermelding voor cohere-ai legt een voorkeur voor dat token vast. Cohere vermeldt het momenteel niet als actieve crawler voor modeltraining.
robots.txt-regels voor cohere-ai
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: cohere-ai
Allow: /Blokkeren
User-agent: cohere-ai
Disallow: /Laat jouw site deze crawler toe?
cohere-ai is alleen een naam voor robots.txt-regels. De crawlercheck leest daarvoor je robots.txt en verstuurt geen verzoek namens deze crawler.