cohere-ai: eine veraltete robots.txt-Vorgabe
Cohere führt derzeit keinen aktiven Crawler für das Modelltraining auf. Das Token cohere-ai bleibt als Prüfung früherer robots.txt-Einstellungen erhalten, ohne dass ein aktiver Crawler eine Anfrage stellt.
Auf einen Blick
- Betreiber
- Cohere
- robots.txt-Token
cohere-ai- Zweck
- Frühere robots.txt-Präferenz
- Wofür er Daten liefert
- Frühere robots.txt-Präferenz
Was sich durch das Blockieren ändert
Ein Eintrag für cohere-ai hält fest, welche Einstellung für dieses Token gewählt wurde. Cohere führt es derzeit nicht als aktiven Crawler für das Modelltraining auf.
robots.txt-Zeilen für cohere-ai
robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).
Zulassen
User-agent: cohere-ai
Allow: /Sperren
User-agent: cohere-ai
Disallow: /Lässt Ihre Website den Crawler zu?
cohere-ai ist ausschließlich ein Name für robots.txt-Regeln. Die Crawler-Prüfung liest dafür die robots.txt und sendet unter diesem Namen keine Anfrage.