cohere-ai: una preferencia heredada de robots.txt
Cohere no incluye actualmente ningún rastreador activo para entrenar modelos. El token cohere-ai se mantiene como comprobación antigua de robots.txt, sin solicitudes de un rastreador activo.
De un vistazo
- Responsable del sitio
- Cohere
- Identificador en robots.txt
cohere-ai- Función
- preferencia antigua de robots.txt
- Qué alimenta
- preferencia antigua de robots.txt
Qué cambia al bloquearlo
Una entrada para cohere-ai registra una preferencia relativa a ese token. Cohere no lo incluye actualmente como rastreador activo para entrenar modelos.
Reglas de robots.txt para cohere-ai
robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).
Para permitirle el acceso
User-agent: cohere-ai
Allow: /Para bloquearle el acceso
User-agent: cohere-ai
Disallow: /¿Tu sitio le permite el acceso?
cohere-ai es un nombre que solo se usa en las reglas de robots.txt. La comprobación de rastreadores lee robots.txt para ese nombre, pero no envía ninguna solicitud haciéndose pasar por él.