Meta-WebIndexer: rastreador de pesquisa operado por Meta

Meta-WebIndexer é um rastreador de pesquisa. Lê páginas para criar o índice usado por este produto (Pesquisa na Meta AI). A empresa responsável é Meta.

Visão geral

Entidade responsável
Meta
Identificador no robots.txt
Meta-WebIndexer
Finalidade
Pesquisa. Os rastreadores de pesquisa leem páginas para criar o índice que um assistente consulta ao responder. Se não conseguirem ler uma página, ela não poderá ser encontrada nem citada nessas respostas.
O que alimenta
Pesquisa na Meta AI

O que muda ao bloqueá-lo

Se bloquear Meta-WebIndexer, as suas páginas não poderão ser encontradas nem citadas nas respostas de pesquisa deste produto (Pesquisa na Meta AI).

User agent

Um exemplo de user agent para Meta-WebIndexer. Usamos a documentação do operador quando a string completa está publicada. As versões e os detalhes do navegador podem ser diferentes nos registos reais do servidor.

meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)

Linhas de robots.txt para Meta-WebIndexer

O robots.txt é um ficheiro de texto simples na raiz de um site (yoursite.com/robots.txt). Um grupo começa com uma ou mais linhas User-agent que identificam rastreadores, seguidas de linhas Allow e Disallow para os caminhos. Um rastreador identificado num grupo segue os grupos que o nomeiam e ignora o grupo geral para todos os rastreadores (User-agent: *).

Para permitir o acesso

User-agent: Meta-WebIndexer
Allow: /

Para impedir o acesso

User-agent: Meta-WebIndexer
Disallow: /

O seu site permite o acesso?

A verificação de rastreadores lê o seu robots.txt para Meta-WebIndexer e solicita a sua página com o respetivo user agent. Assim, mostra se uma regra do robots.txt ou uma firewall impede o acesso.

Verifique se o seu site permite o acesso a Meta-WebIndexer

Perguntas sobre Meta-WebIndexer

Meta-WebIndexer é um rastreador de pesquisa. Lê páginas para criar o índice usado por este produto (Pesquisa na Meta AI). A empresa responsável é Meta.

Só se não quiser que as suas páginas apareçam nas respostas de pesquisa deste produto (Pesquisa na Meta AI). O bloqueio não afeta rastreadores com outros nomes.

Adicione um grupo com o respetivo nome e uma regra para todos os caminhos: “User-agent: Meta-WebIndexer”, seguido de “Disallow: /”. Para permitir o acesso, escreva “Allow: /” em vez disso.