Meta-WebIndexer : un robot de recherche exploité par Meta

Meta-WebIndexer est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Recherche Meta AI). Il est exploité par Meta.

En un coup d’œil

Exploitant
Meta
Nom dans robots.txt
Meta-WebIndexer
Rôle
Recherche. Les robots de recherche lisent les pages pour constituer l’index qu’un assistant consulte lorsqu’il répond. Si un robot ne peut pas lire une page, elle ne peut pas être trouvée ni citée dans ces réponses.
À quoi servent les pages collectées
Recherche Meta AI

Conséquences du blocage

Si vous bloquez Meta-WebIndexer, vos pages ne pourront pas être trouvées ni citées dans les réponses de recherche de ce produit (Recherche Meta AI).

Agent utilisateur

Un agent utilisateur représentatif pour Meta-WebIndexer. Nous nous appuyons sur la documentation des opérateurs lorsqu’une chaîne complète y est publiée. Les versions et les caractéristiques du navigateur peuvent varier dans les journaux de serveur réels.

meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)

Lignes robots.txt pour Meta-WebIndexer

robots.txt est un fichier texte brut à la racine d’un site (yoursite.com/robots.txt). Un groupe commence par une ou plusieurs lignes User-agent qui nomment les robots, suivies de lignes Allow et Disallow définissant les chemins. Un robot nommé dans un groupe suit les groupes qui portent son nom et ignore celui destiné à tous les robots (User-agent: *).

Pour l’autoriser

User-agent: Meta-WebIndexer
Allow: /

Pour le bloquer

User-agent: Meta-WebIndexer
Disallow: /

Votre site l’autorise-t-il ?

La vérification lit votre fichier robots.txt pour Meta-WebIndexer et demande votre page avec son agent utilisateur. Elle indique ainsi si une règle robots.txt ou un pare-feu le bloque.

Vérifiez si votre site autorise Meta-WebIndexer

Questions sur Meta-WebIndexer

Meta-WebIndexer est un robot de recherche. Il lit des pages pour constituer l’index utilisé par ce produit (Recherche Meta AI). Il est exploité par Meta.

Seulement si vous ne souhaitez pas voir vos pages dans les réponses de recherche de ce produit (Recherche Meta AI). Son blocage ne change rien pour les robots portant d’autres noms.

Ajoutez un groupe portant son nom et une règle pour tous les chemins : « User-agent: Meta-WebIndexer », puis « Disallow: / ». Pour l’autoriser, écrivez plutôt « Allow: / ».