Meta-ExternalAgent: rastreador de treino operado por Meta
Meta-ExternalAgent é um rastreador de treino. Recolhe páginas para este fim (Meta AI). A empresa responsável é Meta.
Visão geral
- Entidade responsável
- Meta
- Identificador no robots.txt
Meta-ExternalAgent- Finalidade
- Treino. Os rastreadores de treino recolhem páginas para futuros modelos. Bloqueá-los não impede o acesso dos rastreadores que obtêm páginas para responder a perguntas, pois estes têm nomes próprios.
- O que alimenta
- Meta AI
O que muda ao bloqueá-lo
Se bloquear Meta-ExternalAgent, as suas páginas ficarão fora do material recolhido para este fim (Meta AI). Os rastreadores que obtêm páginas para responder a perguntas têm nomes próprios e, por isso, poderão continuar a ler o seu site.
User agent
O user agent completo, segundo a documentação de quem o opera. Um pedido de Meta-ExternalAgent inclui este texto, que aparece nos registos do servidor.
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Linhas de robots.txt para Meta-ExternalAgent
O robots.txt é um ficheiro de texto simples na raiz de um site (yoursite.com/robots.txt). Um grupo começa com uma ou mais linhas User-agent que identificam rastreadores, seguidas de linhas Allow e Disallow para os caminhos. Um rastreador identificado num grupo segue os grupos que o nomeiam e ignora o grupo geral para todos os rastreadores (User-agent: *).
Para permitir o acesso
User-agent: Meta-ExternalAgent
Allow: /Para impedir o acesso
User-agent: Meta-ExternalAgent
Disallow: /O seu site permite o acesso?
A verificação de rastreadores lê o seu robots.txt para Meta-ExternalAgent e solicita a sua página com o respetivo user agent. Assim, mostra se uma regra do robots.txt ou uma firewall impede o acesso.