Meta-WebIndexer : un robot de recherche exploité par Meta
Meta-WebIndexer est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Recherche Meta AI). Il est exploité par Meta.
En un coup d’œil
- Exploitant
- Meta
- Nom dans robots.txt
Meta-WebIndexer- Rôle
- Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
- À quoi servent les pages collectées
- Recherche Meta AI
Conséquences du blocage
Si vous bloquez Meta-WebIndexer, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Recherche Meta AI).
Agent utilisateur
Un agent utilisateur représentatif pour Meta-WebIndexer. Nous nous appuyons sur la documentation des opérateurs lorsqu’une chaîne complète y est publiée. Les versions et les caractéristiques du navigateur peuvent varier dans les journaux de serveur réels.
meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)Lignes robots.txt pour Meta-WebIndexer
robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).
Pour l’autoriser
User-agent: Meta-WebIndexer
Allow: /Pour le bloquer
User-agent: Meta-WebIndexer
Disallow: /Votre site l’autorise-t-il ?
La vérification lit votre fichier robots.txt pour Meta-WebIndexer et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.