Meta-ExternalFetcher: rastreador operado por Meta que abre páginas a pedido

Meta-ExternalFetcher é um rastreador acionado a pedido. Abre uma página quando alguém pede a este produto (Meta AI) que a leia. A empresa responsável é Meta.

Visão geral

Entidade responsável
Meta
Identificador no robots.txt
Meta-ExternalFetcher
Finalidade
A pedido. Os rastreadores acionados a pedido abrem uma página quando alguém pede a um assistente que a leia. Se não conseguirem ler a página, o assistente não poderá abri-la nessa conversa.
O que alimenta
Meta AI

O que muda ao bloqueá-lo

A diretiva Disallow pede que Meta-ExternalFetcher não aceda às suas páginas. Alguns sistemas que obtêm páginas a pedido de pessoas podem ignorar o robots.txt. Se uma página tiver de permanecer privada, use controlos de acesso no servidor.

User agent

Um exemplo de user agent para Meta-ExternalFetcher. Usamos a documentação do operador quando a string completa está publicada. As versões e os detalhes do navegador podem ser diferentes nos registos reais do servidor.

meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Linhas de robots.txt para Meta-ExternalFetcher

O robots.txt é um ficheiro de texto simples na raiz de um site (yoursite.com/robots.txt). Um grupo começa com uma ou mais linhas User-agent que identificam rastreadores, seguidas de linhas Allow e Disallow para os caminhos. Um rastreador identificado num grupo segue os grupos que o nomeiam e ignora o grupo geral para todos os rastreadores (User-agent: *).

Para permitir o acesso

User-agent: Meta-ExternalFetcher
Allow: /

Para impedir o acesso

User-agent: Meta-ExternalFetcher
Disallow: /

O seu site permite o acesso?

A verificação de rastreadores lê o seu robots.txt para Meta-ExternalFetcher e solicita a sua página com o respetivo user agent. Assim, mostra se uma regra do robots.txt ou uma firewall impede o acesso.

Verifique se o seu site permite o acesso a Meta-ExternalFetcher

Perguntas sobre Meta-ExternalFetcher

Meta-ExternalFetcher é um rastreador acionado a pedido. Abre uma página quando alguém pede a este produto (Meta AI) que a leia. A empresa responsável é Meta.

Só se não quiser que este produto (Meta AI) abra as suas páginas quando alguém o pedir. O bloqueio não afeta rastreadores com outros nomes.

Adicione um grupo com o respetivo nome e uma regra para todos os caminhos: “User-agent: Meta-ExternalFetcher”, seguido de “Disallow: /”. Para permitir o acesso, escreva “Allow: /” em vez disso.