Meta-ExternalFetcher: en crawlare som öppnar sidor på begäran och drivs av Meta
Meta-ExternalFetcher är en crawlare för användarförfrågningar. Den öppnar en sida när någon ber Meta AI att läsa den. Den drivs av Meta.
Översikt
- Ansvarig för webbplatsen
- Meta
- robots.txt-token
Meta-ExternalFetcher- Syfte
- Användarförfrågan. Crawlare för användarförfrågningar öppnar en sida när någon ber en assistent att läsa den. Om de inte kan läsa sidan kan assistenten inte öppna den i samtalet.
- Vad den bidrar till
- Meta AI
Vad som händer om du blockerar den
Om du stänger ute Meta-ExternalFetcher kan Meta AI inte öppna din sida när någon ber om det.
Användaragent
Den fullständiga användaragenten enligt operatörens dokumentation. En förfrågan från Meta-ExternalFetcher innehåller den här texten, som också syns i serverloggen.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Rader i robots.txt för Meta-ExternalFetcher
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Meta-ExternalFetcher
Allow: /För att stänga den ute
User-agent: Meta-ExternalFetcher
Disallow: /Släpper din webbplats in den?
Den kostnadsfria kontrollen läser din robots.txt för Meta-ExternalFetcher och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.