OAI-SearchBot: en sökcrawlare som drivs av OpenAI
OAI-SearchBot är en sökcrawlare. Den läser sidor till sökindexet bakom ChatGPT-sökning och drivs av OpenAI.
Översikt
- Ansvarig för webbplatsen
- OpenAI
- robots.txt-token
OAI-SearchBot- Syfte
- Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
- Vad den bidrar till
- ChatGPT-sökning
Vad som händer om du blockerar den
Om du stänger ute OAI-SearchBot kan dina sidor inte hittas eller citeras i söksvaren från ChatGPT-sökning.
Användaragent
Den fullständiga användaragenten enligt operatörens dokumentation. En förfrågan från OAI-SearchBot innehåller den här texten, som också syns i serverloggen.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotRader i robots.txt för OAI-SearchBot
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: OAI-SearchBot
Allow: /För att stänga den ute
User-agent: OAI-SearchBot
Disallow: /Släpper din webbplats in den?
Den kostnadsfria kontrollen läser din robots.txt för OAI-SearchBot och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.