OAI-SearchBot: crawler di ricerca gestito da OpenAI
OAI-SearchBot è un crawler di ricerca. Legge le pagine per creare l’indice usato da questo prodotto: Ricerca di ChatGPT. È gestito da OpenAI.
In breve
- Gestore
- OpenAI
- Identificativo robots.txt
OAI-SearchBot- Scopo
- Ricerca. I crawler di ricerca leggono le pagine per costruire l’indice che un assistente consulta quando risponde. Se non possono leggere una pagina, questa non può comparire né essere citata in quelle risposte.
- Cosa alimenta
- Ricerca di ChatGPT
Effetti del blocco
Se blocchi OAI-SearchBot, le tue pagine non potranno comparire né essere citate nelle risposte di ricerca di questo prodotto: Ricerca di ChatGPT.
User agent
Questo è lo user agent completo riportato nella documentazione del gestore. Le richieste di OAI-SearchBot lo includono e puoi vederlo nei log del server.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotRegole robots.txt per OAI-SearchBot
robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).
Per consentire l’accesso
User-agent: OAI-SearchBot
Allow: /Per bloccare l’accesso
User-agent: OAI-SearchBot
Disallow: /Il tuo sito gli consente l’accesso?
Il controllo dei crawler legge il tuo robots.txt per OAI-SearchBot e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.