OAI-SearchBot: ein Such-Crawler, den OpenAI betreibt

OAI-SearchBot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (ChatGPT-Suche). Betrieben wird er von OpenAI.

Auf einen Blick

Betreiber
OpenAI
robots.txt-Token
OAI-SearchBot
Zweck
Suche. Such-Crawler lesen Seiten, um den Index aufzubauen, den ein Assistent für seine Antworten durchsucht. Kann er eine Seite nicht lesen, kann sie in diesen Antworten weder gefunden noch zitiert werden.
Wofür er Daten liefert
ChatGPT-Suche

Was sich durch das Blockieren ändert

Wenn Sie OAI-SearchBot aussperren, können Ihre Seiten in den Suchantworten des jeweiligen Angebots (ChatGPT-Suche) weder gefunden noch zitiert werden.

User-Agent

Ein repräsentativer User-Agent (OAI-SearchBot). Wir richten uns nach der Dokumentation des jeweiligen Betreibers, sofern darin die vollständige Zeichenfolge veröffentlicht ist. Versions- und Browserangaben in echten Serverprotokollen können davon abweichen.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

robots.txt-Zeilen für OAI-SearchBot

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).

Zulassen

User-agent: OAI-SearchBot
Allow: /

Sperren

User-agent: OAI-SearchBot
Disallow: /

Lässt Ihre Website den Crawler zu?

Die kostenlose Crawler-Prüfung liest Ihre robots.txt für OAI-SearchBot und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.

Prüfen Sie, ob Ihre Website OAI-SearchBot zulässt

Fragen zu OAI-SearchBot

OAI-SearchBot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (ChatGPT-Suche). Betrieben wird er von OpenAI.

Nur wenn Ihre Seiten nicht in den Suchantworten des jeweiligen Angebots (ChatGPT-Suche) erscheinen sollen. Crawler mit anderen Namen bleiben davon unberührt.

Fügen Sie eine Gruppe mit diesem Namen und einer Regel für alle Pfade hinzu: „User-agent: OAI-SearchBot“, gefolgt von „Disallow: /“. Wenn Sie den Crawler zulassen möchten, schreiben Sie stattdessen „Allow: /“.