OAI-SearchBot: rastreador de pesquisa operado por OpenAI
OAI-SearchBot é um rastreador de pesquisa. Lê páginas para criar o índice usado por este produto (Pesquisa do ChatGPT). A empresa responsável é OpenAI.
Visão geral
- Entidade responsável
- OpenAI
- Identificador no robots.txt
OAI-SearchBot- Finalidade
- Pesquisa. Os rastreadores de pesquisa leem páginas para criar o índice que um assistente consulta ao responder. Se não conseguirem ler uma página, ela não poderá ser encontrada nem citada nessas respostas.
- O que alimenta
- Pesquisa do ChatGPT
O que muda ao bloqueá-lo
Se bloquear OAI-SearchBot, as suas páginas não poderão ser encontradas nem citadas nas respostas de pesquisa deste produto (Pesquisa do ChatGPT).
User agent
O user agent completo, segundo a documentação de quem o opera. Um pedido de OAI-SearchBot inclui este texto, que aparece nos registos do servidor.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotLinhas de robots.txt para OAI-SearchBot
O robots.txt é um ficheiro de texto simples na raiz de um site (yoursite.com/robots.txt). Um grupo começa com uma ou mais linhas User-agent que identificam rastreadores, seguidas de linhas Allow e Disallow para os caminhos. Um rastreador identificado num grupo segue os grupos que o nomeiam e ignora o grupo geral para todos os rastreadores (User-agent: *).
Para permitir o acesso
User-agent: OAI-SearchBot
Allow: /Para impedir o acesso
User-agent: OAI-SearchBot
Disallow: /O seu site permite o acesso?
A verificação de rastreadores lê o seu robots.txt para OAI-SearchBot e solicita a sua página com o respetivo user agent. Assim, mostra se uma regra do robots.txt ou uma firewall impede o acesso.