Applebot: ein Such-Crawler, den Apple betreibt
Applebot ist ein Such-Crawler. Er liest Seiten für den Suchindex des jeweiligen Angebots (Siri und Spotlight). Betrieben wird er von Apple.
Auf einen Blick
- Betreiber
- Apple
- robots.txt-Token
Applebot- Zweck
- Suche. Such-Crawler lesen Seiten, um den Index aufzubauen, den ein Assistent für seine Antworten durchsucht. Kann er eine Seite nicht lesen, kann sie in diesen Antworten weder gefunden noch zitiert werden.
- Wofür er Daten liefert
- Siri und Spotlight
Was sich durch das Blockieren ändert
Wenn Sie Applebot aussperren, können Ihre Seiten in den Suchantworten des jeweiligen Angebots (Siri und Spotlight) weder gefunden noch zitiert werden.
User-Agent
Der vollständige User-Agent aus der Dokumentation des Betreibers. Wenn Applebot eine Anfrage sendet, enthält sie diesen Text. Er erscheint auch im Serverprotokoll.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)robots.txt-Zeilen für Applebot
robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).
Zulassen
User-agent: Applebot
Allow: /Sperren
User-agent: Applebot
Disallow: /Lässt Ihre Website den Crawler zu?
Die kostenlose Crawler-Prüfung liest Ihre robots.txt für Applebot und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.