Meta-ExternalFetcher: En crawler, som drives af Meta og åbner sider på anmodning
Meta-ExternalFetcher er en crawler til brugerforespørgsler. Den åbner en side, når nogen beder produktet (Meta AI) om at læse den. Operatøren er Meta.
Overblik
- Ansvarlig virksomhed
- Meta
- robots.txt-token
Meta-ExternalFetcher- Formål
- Brugerforespørgsel. Crawlere til brugerforespørgsler åbner en bestemt side, når nogen beder en assistent om at læse den. Hvis de ikke kan læse siden, kan den ikke åbnes i samtalen.
- Hvad den leverer data til
- Meta AI
Hvad det ændrer at blokere den
Hvis du blokerer Meta-ExternalFetcher, kan produktet (Meta AI) ikke åbne din side, når nogen beder om det.
User agent
Den fulde user agent fra operatørens dokumentation. En forespørgsel fra Meta-ExternalFetcher indeholder denne tekst, som kan ses i serverloggen.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Linjer i robots.txt for Meta-ExternalFetcher
robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).
Tillad adgang
User-agent: Meta-ExternalFetcher
Allow: /Blokér adgang
User-agent: Meta-ExternalFetcher
Disallow: /Giver dit website adgang?
Det gratis crawlertjek læser din robots.txt for Meta-ExternalFetcher og henter din side med crawlerens user agent. Så kan du se, om en regel i robots.txt eller en firewall afviser den.