Meta-ExternalFetcher: en crawlare som öppnar sidor på begäran och drivs av Meta
Meta-ExternalFetcher är en crawlare för användarförfrågningar. Den öppnar en sida när någon ber Meta AI att läsa den. Den drivs av Meta.
Översikt
- Ansvarig för webbplatsen
- Meta
- robots.txt-token
Meta-ExternalFetcher- Syfte
- Användarförfrågan. Crawlare för användarförfrågningar öppnar en sida när någon ber en assistent att läsa den. Om de inte kan läsa sidan kan assistenten inte öppna den i samtalet.
- Vad den bidrar till
- Meta AI
Vad som händer om du blockerar den
En Disallow-regel talar om för Meta-ExternalFetcher att inte besöka dina sidor. Vissa verktyg som hämtar sidor på användares begäran kan ignorera robots.txt. Använd åtkomstkontroller på servern om en sida måste förbli privat.
Användaragent
En representativ user agent för Meta-ExternalFetcher. Vi använder operatörens dokumentation när en fullständig sträng finns publicerad. Versionsnummer och webbläsaruppgifter i faktiska serverloggar kan skilja sig.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Rader i robots.txt för Meta-ExternalFetcher
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Meta-ExternalFetcher
Allow: /För att stänga den ute
User-agent: Meta-ExternalFetcher
Disallow: /Släpper din webbplats in den?
Den kostnadsfria kontrollen läser din robots.txt för Meta-ExternalFetcher och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.