Meta-ExternalFetcher: En crawler, som drives af Meta og åbner sider på anmodning

Meta-ExternalFetcher er en crawler til brugerforespørgsler. Den åbner en side, når nogen beder produktet (Meta AI) om at læse den. Operatøren er Meta.

Overblik

Ansvarlig virksomhed
Meta
robots.txt-token
Meta-ExternalFetcher
Formål
Brugerforespørgsel. Crawlere til brugerforespørgsler åbner en bestemt side, når nogen beder en assistent om at læse den. Hvis de ikke kan læse siden, kan den ikke åbnes i samtalen.
Hvad den leverer data til
Meta AI

Hvad det ændrer at blokere den

En Disallow-regel beder Meta-ExternalFetcher om at holde sig væk fra dine sider. Nogle hentere, der aktiveres af brugere, kan ignorere robots.txt. Brug adgangskontrol på serveren, hvis en side skal forblive privat.

User agent

En repræsentativ user agent for Meta-ExternalFetcher. Vi bruger operatørens dokumentation, når den fulde streng er offentliggjort. Versionsnumre og browseroplysninger i faktiske serverlogs kan variere.

meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Linjer i robots.txt for Meta-ExternalFetcher

robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).

Tillad adgang

User-agent: Meta-ExternalFetcher
Allow: /

Blokér adgang

User-agent: Meta-ExternalFetcher
Disallow: /

Giver dit website adgang?

Det gratis crawlertjek læser din robots.txt for Meta-ExternalFetcher og henter din side med crawlerens user agent. Så kan du se, om en regel i robots.txt eller en firewall afviser den.

Tjek, om dit website giver adgang til Meta-ExternalFetcher

Spørgsmål om Meta-ExternalFetcher

Meta-ExternalFetcher er en crawler til brugerforespørgsler. Den åbner en side, når nogen beder produktet (Meta AI) om at læse den. Operatøren er Meta.

Kun hvis du ikke ønsker, at produktet (Meta AI) skal åbne dine sider, når nogen beder om det. Det ændrer ikke noget for crawlere med andre navne.

Tilføj en gruppe med crawlerens navn og en regel for alle stier: “User-agent: Meta-ExternalFetcher” efterfulgt af “Disallow: /”. Vil du give den adgang, skal du skrive “Allow: /” i stedet.