cohere-ai: en träningscrawlare som drivs av Cohere
cohere-ai är en träningscrawlare. Den samlar in sidor till Cohere-modeller och drivs av Cohere.
Översikt
- Ansvarig för webbplatsen
- Cohere
- robots.txt-token
cohere-ai- Syfte
- Träning. Träningscrawlare samlar in sidor till framtida modeller. Att stänga ute dem stoppar inte de crawlare som hämtar sidor för att ge svar. De har egna namn.
- Vad den bidrar till
- Cohere-modeller
Vad som händer om du blockerar den
Om du stänger ute cohere-ai kommer dina sidor inte med i det som samlas in till Cohere-modeller. Crawlarna som hämtar sidor för att ge svar har egna namn och kan därför fortfarande läsa din webbplats.
Rader i robots.txt för cohere-ai
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: cohere-ai
Allow: /För att stänga den ute
User-agent: cohere-ai
Disallow: /Släpper din webbplats in den?
cohere-ai är bara ett namn för regler i robots.txt. Kontrollen läser robots.txt för det namnet och skickar ingen förfrågan med det som användaragent.