Meta-ExternalFetcher: rastreador operado por Meta que abre páginas a petición del usuario
Meta-ExternalFetcher es un rastreador que actúa a petición del usuario. Abre una página cuando alguien pide a Meta AI que la lea. Lo opera Meta.
De un vistazo
- Responsable del sitio
- Meta
- Identificador en robots.txt
Meta-ExternalFetcher- Función
- Solicitud del usuario. Los rastreadores que actúan a petición del usuario abren una página cuando alguien pide a un asistente que la lea. Si no pueden leerla, el asistente no podrá abrirla en esa conversación.
- Qué alimenta
- Meta AI
Qué cambia al bloquearlo
Una directiva Disallow pide a Meta-ExternalFetcher que no acceda a tus páginas. Algunos sistemas que obtienen páginas a petición del usuario pueden ignorar robots.txt; si una página debe seguir siendo privada, utiliza controles de acceso en el servidor.
Agente de usuario
Un agente de usuario representativo de Meta-ExternalFetcher. Usamos la documentación del operador cuando publica la cadena completa. Las versiones y los datos del navegador pueden variar en los registros reales del servidor.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Reglas de robots.txt para Meta-ExternalFetcher
robots.txt es un archivo de texto sin formato situado en la raíz de un sitio (yoursite.com/robots.txt). Un grupo empieza con una o varias líneas User-agent que nombran rastreadores, seguidas de líneas Allow y Disallow para las rutas. Un rastreador nombrado en un grupo sigue los grupos que lo nombran e ignora el grupo general (User-agent: *).
Para permitirle el acceso
User-agent: Meta-ExternalFetcher
Allow: /Para bloquearle el acceso
User-agent: Meta-ExternalFetcher
Disallow: /¿Tu sitio le permite el acceso?
La comprobación de rastreadores lee tu robots.txt para Meta-ExternalFetcher y solicita tu página con su agente de usuario. Así muestra si lo bloquea una regla de robots.txt o un firewall.