Meta-WebIndexer: rastreador de búsqueda operado por Meta

Meta-WebIndexer es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Búsqueda con Meta AI. Lo opera Meta.

De un vistazo

Responsable del sitio
Meta
Identificador en robots.txt
Meta-WebIndexer
Función
Búsqueda. Los rastreadores de búsqueda leen páginas para crear el índice que consulta un asistente al responder. Si no pueden leer una página, no podrán encontrarla ni citarla en sus respuestas.
Qué alimenta
Búsqueda con Meta AI

Qué cambia al bloquearlo

Si bloqueas Meta-WebIndexer, tus páginas no podrán aparecer ni citarse en las respuestas de búsqueda de Búsqueda con Meta AI.

Agente de usuario

Un agente de usuario representativo de Meta-WebIndexer. Usamos la documentación del operador cuando publica la cadena completa. Las versiones y los datos del navegador pueden variar en los registros reales del servidor.

meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)

Reglas de robots.txt para Meta-WebIndexer

robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).

Para permitirle el acceso

User-agent: Meta-WebIndexer
Allow: /

Para bloquearle el acceso

User-agent: Meta-WebIndexer
Disallow: /

¿Tu sitio le permite el acceso?

La comprobación de rastreadores lee tu robots.txt para Meta-WebIndexer y solicita tu página con su agente de usuario. Así muestra si lo bloquea una regla de robots.txt o un firewall.

Comprueba si tu sitio permite el acceso a Meta-WebIndexer

Preguntas sobre Meta-WebIndexer

Meta-WebIndexer es un rastreador de búsqueda. Lee páginas para crear el índice que utiliza Búsqueda con Meta AI. Lo opera Meta.

Solo si no quieres que tus páginas aparezcan en las respuestas de búsqueda de Búsqueda con Meta AI. Bloquearlo no afecta a los rastreadores que tienen otros nombres.

Añade un grupo con su nombre y una regla para todas las rutas: «User-agent: Meta-WebIndexer», seguido de «Disallow: /». Si quieres permitirle el acceso, escribe «Allow: /» en su lugar.