Googlebot: ein Such-Crawler, den Google betreibt

Googlebot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (Google Search und AI Overviews). Betrieben wird er von Google.

Auf einen Blick

Betreiber
Google
robots.txt-Token
Googlebot
Zweck
Suche. Such-Crawler lesen Seiten, um den Index aufzubauen, den ein Assistent für seine Antworten durchsucht. Kann er eine Seite nicht lesen, kann sie in diesen Antworten weder gefunden noch zitiert werden.
Wofür er Daten liefert
Google Search und AI Overviews

Was sich durch das Blockieren ändert

Wenn Sie Googlebot aussperren, können Ihre Seiten in den Suchantworten des jeweiligen Angebots (Google Search und AI Overviews) weder gefunden noch zitiert werden.

robots.txt-Zeilen für Googlebot

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).

Zulassen

User-agent: Googlebot
Allow: /

Sperren

User-agent: Googlebot
Disallow: /

Lässt Ihre Website den Crawler zu?

Die Crawler-Prüfung liest für Googlebot nur die robots.txt und sendet unter diesem Namen keine Anfrage.

Prüfen Sie, ob Ihre Website Googlebot zulässt

Fragen zu Googlebot

Googlebot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (Google Search und AI Overviews). Betrieben wird er von Google.

Nur wenn Ihre Seiten nicht in den Suchantworten des jeweiligen Angebots (Google Search und AI Overviews) erscheinen sollen. Crawler mit anderen Namen bleiben davon unberührt.

Fügen Sie eine Gruppe mit diesem Namen und einer Regel für alle Pfade hinzu: „User-agent: Googlebot“, gefolgt von „Disallow: /“. Wenn Sie den Crawler zulassen möchten, schreiben Sie stattdessen „Allow: /“.