OAI-SearchBot: En søgecrawler, som drives af OpenAI
OAI-SearchBot er en søgecrawler. Den læser sider til søgeindekset bag produktet (ChatGPT-søgning). Operatøren er OpenAI.
Overblik
- Ansvarlig virksomhed
- OpenAI
- robots.txt-token
OAI-SearchBot- Formål
- Søgning. Søgecrawlere læser sider for at opbygge det indeks, en assistent søger i, når den svarer. Hvis de ikke kan læse en side, kan den hverken findes eller citeres i de svar.
- Hvad den leverer data til
- ChatGPT-søgning
Hvad det ændrer at blokere den
Hvis du blokerer OAI-SearchBot, kan dine sider ikke findes eller citeres i søgesvar fra produktet (ChatGPT-søgning).
User agent
Den fulde user agent fra operatørens dokumentation. En forespørgsel fra OAI-SearchBot indeholder denne tekst, som kan ses i serverloggen.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotLinjer i robots.txt for OAI-SearchBot
robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).
Tillad adgang
User-agent: OAI-SearchBot
Allow: /Blokér adgang
User-agent: OAI-SearchBot
Disallow: /Giver dit website adgang?
Det gratis crawlertjek læser din robots.txt for OAI-SearchBot og henter din side med crawlerens user agent. Så kan du se, om en regel i robots.txt eller en firewall afviser den.