Meta-ExternalFetcher: ein Crawler, den Meta betreibt und der Seiten auf Anfrage öffnet

Meta-ExternalFetcher ist ein Nutzer-Crawler. Er öffnet eine Seite, wenn jemand das jeweilige Angebot (Meta AI) bittet, sie zu lesen. Betrieben wird er von Meta.

Auf einen Blick

Betreiber
Meta
robots.txt-Token
Meta-ExternalFetcher
Zweck
Nutzeranfrage. Nutzer-Crawler öffnen eine einzelne Seite, wenn jemand einen Assistenten bittet, sie zu lesen. Können sie die Seite nicht lesen, lässt sie sich in diesem Gespräch nicht öffnen.
Wofür er Daten liefert
Meta AI

Was sich durch das Blockieren ändert

Eine Disallow-Regel signalisiert, dass Meta-ExternalFetcher Ihre Seiten nicht aufrufen soll. Manche durch Nutzer ausgelöste Abrufdienste ignorieren robots.txt möglicherweise. Wenn eine Seite privat bleiben muss, verwenden Sie serverseitige Zugriffskontrollen.

User-Agent

Ein repräsentativer User-Agent (Meta-ExternalFetcher). Wir richten uns nach der Dokumentation des jeweiligen Betreibers, sofern darin die vollständige Zeichenfolge veröffentlicht ist. Versions- und Browserangaben in echten Serverprotokollen können davon abweichen.

meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

robots.txt-Zeilen für Meta-ExternalFetcher

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website (yoursite.com/robots.txt). Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die Crawler benennen. Darauf folgen Allow- und Disallow-Zeilen für Pfade. Ein Crawler, der in einer Gruppe namentlich genannt wird, befolgt die Gruppen mit seinem Namen und ignoriert die Gruppe für alle Crawler (User-agent: *).

Zulassen

User-agent: Meta-ExternalFetcher
Allow: /

Sperren

User-agent: Meta-ExternalFetcher
Disallow: /

Lässt Ihre Website den Crawler zu?

Die kostenlose Crawler-Prüfung liest Ihre robots.txt für Meta-ExternalFetcher und ruft Ihre Seite mit dessen User-Agent auf. So zeigt sie, ob eine robots.txt-Regel oder eine Firewall den Crawler abweist.

Prüfen Sie, ob Ihre Website Meta-ExternalFetcher zulässt

Fragen zu Meta-ExternalFetcher

Meta-ExternalFetcher ist ein Nutzer-Crawler. Er öffnet eine Seite, wenn jemand das jeweilige Angebot (Meta AI) bittet, sie zu lesen. Betrieben wird er von Meta.

Nur wenn das jeweilige Angebot (Meta AI) Ihre Seiten nicht öffnen soll, wenn Nutzer darum bitten. Crawler mit anderen Namen bleiben davon unberührt.

Fügen Sie eine Gruppe mit diesem Namen und einer Regel für alle Pfade hinzu: „User-agent: Meta-ExternalFetcher“, gefolgt von „Disallow: /“. Wenn Sie den Crawler zulassen möchten, schreiben Sie stattdessen „Allow: /“.