Meta-ExternalFetcher : un robot exploité par Meta qui ouvre des pages à la demande
Meta-ExternalFetcher est un robot déclenché par l’utilisateur. Il ouvre une page lorsqu’une personne demande à ce produit de la lire (Meta AI). Il est exploité par Meta.
En un coup d’œil
- Exploitant
- Meta
- Nom dans robots.txt
Meta-ExternalFetcher- Rôle
- Demande d’un utilisateur. Les robots déclenchés par l’utilisateur ouvrent une page lorsqu’une personne demande à un assistant de la lire. S’ils ne peuvent pas y accéder, cette page ne peut pas être ouverte dans la conversation.
- À quoi servent les pages collectées
- Meta AI
Conséquences du blocage
Une directive Disallow demande à Meta-ExternalFetcher de ne pas explorer vos pages. Certains outils qui récupèrent des pages à la demande d’un utilisateur peuvent ignorer robots.txt. Si une page doit rester privée, contrôlez les accès au niveau du serveur.
Agent utilisateur
Un agent utilisateur représentatif pour Meta-ExternalFetcher. Nous nous appuyons sur la documentation des opérateurs lorsqu’une chaîne complète y est publiée. Les versions et les caractéristiques du navigateur peuvent varier dans les journaux de serveur réels.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Lignes robots.txt pour Meta-ExternalFetcher
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: Meta-ExternalFetcher
Allow: /Pour le bloquer
User-agent: Meta-ExternalFetcher
Disallow: /Votre site l’autorise-t-il ?
La vérification lit votre fichier robots.txt pour Meta-ExternalFetcher et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.