OAI-SearchBot: ein Such-Crawler, den OpenAI betreibt
OAI-SearchBot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (ChatGPT-Suche). Betrieben wird er von OpenAI.
Auf einen Blick
- Betreiber
- OpenAI
- robots.txt-Token
OAI-SearchBot- Zweck
- Suche. Such-Crawler lesen Seiten, um den Index aufzubauen, den ein Assistent für seine Antworten durchsucht. Kann er eine Seite nicht lesen, kann sie in diesen Antworten weder gefunden noch zitiert werden.
- Wofür er Daten liefert
- ChatGPT-Suche
Was sich durch das Blockieren ändert
Wenn Sie OAI-SearchBot aussperren, können Ihre Seiten in den Suchantworten des jeweiligen Angebots (ChatGPT-Suche) weder gefunden noch zitiert werden.
User-Agent
Der vollständige User-Agent aus der Dokumentation des Betreibers. Wenn OAI-SearchBot eine Anfrage sendet, enthält sie diesen Text. Er erscheint auch im Serverprotokoll.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotrobots.txt-Zeilen für OAI-SearchBot
robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).
Zulassen
User-agent: OAI-SearchBot
Allow: /Sperren
User-agent: OAI-SearchBot
Disallow: /Lässt Ihre Website den Crawler zu?
Die kostenlose Crawler-Prüfung liest Ihre robots.txt für OAI-SearchBot und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.