Meta-WebIndexer: rastreador de búsqueda operado por Meta
Meta-WebIndexer es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Búsqueda con Meta AI. Lo opera Meta.
De un vistazo
- Responsable del sitio
- Meta
- Identificador en robots.txt
Meta-WebIndexer- Función
- Búsqueda. Los rastreadores de búsqueda leen páginas para crear el índice que consulta un asistente al responder. Si no pueden leer una página, no podrán encontrarla ni citarla en sus respuestas.
- Qué alimenta
- Búsqueda con Meta AI
Qué cambia al bloquearlo
Si bloqueas Meta-WebIndexer, tus páginas no podrán aparecer ni citarse en las respuestas de búsqueda de Búsqueda con Meta AI.
Agente de usuario
Un agente de usuario representativo de Meta-WebIndexer. Usamos la documentación del operador cuando publica la cadena completa. Las versiones y los datos del navegador pueden variar en los registros reales del servidor.
meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)Reglas de robots.txt para Meta-WebIndexer
robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).
Para permitirle el acceso
User-agent: Meta-WebIndexer
Allow: /Para bloquearle el acceso
User-agent: Meta-WebIndexer
Disallow: /¿Tu sitio le permite el acceso?
La comprobación de rastreadores lee tu robots.txt para Meta-WebIndexer y solicita tu página con su agente de usuario. Así muestra si lo bloquea una regla de robots.txt o un firewall.