Claude-SearchBot: rastreador de búsqueda operado por Anthropic
Claude-SearchBot es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Búsqueda de Claude. Lo opera Anthropic.
De un vistazo
- Responsable del sitio
- Anthropic
- Identificador en robots.txt
Claude-SearchBot- Función
- Búsqueda. Los rastreadores de búsqueda leen páginas para crear el índice que consulta un asistente al responder. Si no pueden leer una página, no podrán encontrarla ni citarla en sus respuestas.
- Qué alimenta
- Búsqueda de Claude
Qué cambia al bloquearlo
Si bloqueas Claude-SearchBot, tus páginas no podrán aparecer ni citarse en las respuestas de búsqueda de Búsqueda de Claude.
Agente de usuario
Un agente de usuario representativo de Claude-SearchBot. Usamos la documentación del operador cuando publica la cadena completa. Las versiones y los datos del navegador pueden variar en los registros reales del servidor.
Claude-SearchBotReglas de robots.txt para Claude-SearchBot
robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).
Para permitirle el acceso
User-agent: Claude-SearchBot
Allow: /Para bloquearle el acceso
User-agent: Claude-SearchBot
Disallow: /¿Tu sitio le permite el acceso?
La comprobación de rastreadores lee tu robots.txt para Claude-SearchBot y solicita tu página con su agente de usuario. Así muestra si lo bloquea una regla de robots.txt o un firewall.