cohere-ai: en äldre inställning i robots.txt
Cohere listar för närvarande ingen aktiv sökrobot för modellträning. Tokenen cohere-ai finns kvar som en äldre kontroll i robots.txt, utan någon begäran från en aktiv sökrobot.
Översikt
- Ansvarig för webbplatsen
- Cohere
- robots.txt-token
cohere-ai- Syfte
- tidigare inställning i robots.txt
- Vad den bidrar till
- tidigare inställning i robots.txt
Vad som händer om du blockerar den
En post för cohere-ai dokumenterar en inställning för den tokenen. Cohere listar den för närvarande inte som en aktiv sökrobot för modellträning.
Rader i robots.txt för cohere-ai
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: cohere-ai
Allow: /För att stänga den ute
User-agent: cohere-ai
Disallow: /Släpper din webbplats in den?
cohere-ai är bara ett namn för regler i robots.txt. Kontrollen läser robots.txt för det namnet och skickar ingen förfrågan med det som användaragent.