Meta-ExternalFetcher: crawler gestito da Meta che apre le pagine su richiesta

Meta-ExternalFetcher è un crawler attivato dall’utente. Apre una pagina quando qualcuno chiede a questo prodotto di leggerla: Meta AI. È gestito da Meta.

In breve

Gestore
Meta
Identificativo robots.txt
Meta-ExternalFetcher
Scopo
Richiesta dell’utente. I crawler attivati dall’utente aprono una pagina quando qualcuno chiede a un assistente di leggerla. Se non possono leggerla, l’assistente non può aprirla durante quella conversazione.
Cosa alimenta
Meta AI

Effetti del blocco

Una direttiva Disallow chiede a Meta-ExternalFetcher di non accedere alle tue pagine. Alcuni sistemi che recuperano pagine su richiesta degli utenti potrebbero ignorare robots.txt. Se una pagina deve restare privata, usa i controlli di accesso del server.

User agent

Uno user agent rappresentativo per Meta-ExternalFetcher. Usiamo la documentazione degli operatori quando è disponibile la stringa completa. Le versioni e i dettagli del browser nei log effettivi del server possono variare.

meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Regole robots.txt per Meta-ExternalFetcher

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: Meta-ExternalFetcher
Allow: /

Per bloccare l’accesso

User-agent: Meta-ExternalFetcher
Disallow: /

Il tuo sito gli consente l’accesso?

Il controllo dei crawler legge il tuo robots.txt per Meta-ExternalFetcher e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.

Controlla se il tuo sito consente l’accesso a Meta-ExternalFetcher

Domande su Meta-ExternalFetcher

Meta-ExternalFetcher è un crawler attivato dall’utente. Apre una pagina quando qualcuno chiede a questo prodotto di leggerla: Meta AI. È gestito da Meta.

Solo se non vuoi che questo prodotto apra le tue pagine quando qualcuno glielo chiede: Meta AI. Il blocco non riguarda i crawler con altri nomi.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: Meta-ExternalFetcher”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.