Googlebot: rastreador de pesquisa operado por Google
Googlebot é um rastreador de pesquisa. Lê páginas para criar o índice usado por este produto (Google Search e AI Overviews). A empresa responsável é Google.
Visão geral
- Entidade responsável
- Identificador no robots.txt
Googlebot- Finalidade
- Pesquisa. Os rastreadores de pesquisa leem páginas para criar o índice que um assistente consulta ao responder. Se não conseguirem ler uma página, ela não poderá ser encontrada nem citada nessas respostas.
- O que alimenta
- Google Search e AI Overviews
O que muda ao bloqueá-lo
Se bloquear Googlebot, as suas páginas não poderão ser encontradas nem citadas nas respostas de pesquisa deste produto (Google Search e AI Overviews).
Linhas de robots.txt para Googlebot
O robots.txt é um ficheiro de texto simples na raiz de um site (yoursite.com/robots.txt). Um grupo começa com uma ou mais linhas User-agent que identificam rastreadores, seguidas de linhas Allow e Disallow para os caminhos. Um rastreador identificado num grupo segue os grupos que o nomeiam e ignora o grupo geral para todos os rastreadores (User-agent: *).
Para permitir o acesso
User-agent: Googlebot
Allow: /Para impedir o acesso
User-agent: Googlebot
Disallow: /O seu site permite o acesso?
A verificação de rastreadores apenas lê o robots.txt para Googlebot, sem enviar pedidos em seu nome.