Meta-ExternalFetcher: ein Crawler, den Meta betreibt und der Seiten auf Anfrage öffnet
Meta-ExternalFetcher ist ein Nutzer-Crawler. Er öffnet eine Seite, wenn jemand das jeweilige Angebot (Meta AI) bittet, sie zu lesen. Betrieben wird er von Meta.
Auf einen Blick
- Betreiber
- Meta
- robots.txt-Token
Meta-ExternalFetcher- Zweck
- Nutzeranfrage. Nutzer-Crawler öffnen eine einzelne Seite, wenn jemand einen Assistenten bittet, sie zu lesen. Können sie die Seite nicht lesen, lässt sie sich in diesem Gespräch nicht öffnen.
- Wofür er Daten liefert
- Meta AI
Was sich durch das Blockieren ändert
Wenn Sie Meta-ExternalFetcher aussperren, kann das jeweilige Angebot (Meta AI) Ihre Seite nicht öffnen, wenn jemand darum bittet.
User-Agent
Der vollständige User-Agent aus der Dokumentation des Betreibers. Wenn Meta-ExternalFetcher eine Anfrage sendet, enthält sie diesen Text. Er erscheint auch im Serverprotokoll.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)robots.txt-Zeilen für Meta-ExternalFetcher
robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).
Zulassen
User-agent: Meta-ExternalFetcher
Allow: /Sperren
User-agent: Meta-ExternalFetcher
Disallow: /Lässt Ihre Website den Crawler zu?
Die kostenlose Crawler-Prüfung liest Ihre robots.txt für Meta-ExternalFetcher und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.