Meta-ExternalFetcher: een crawler van Meta die pagina's op verzoek opent
Meta-ExternalFetcher is een crawler voor gebruikersverzoeken. Hij opent een pagina wanneer iemand Meta AI vraagt die te lezen. Meta beheert deze crawler.
In één oogopslag
- Beheerder
- Meta
- robots.txt-token
Meta-ExternalFetcher- Doel
- Verzoek van gebruiker. Crawlers voor gebruikersverzoeken openen een pagina wanneer iemand een assistent vraagt die te lezen. Als ze de pagina niet kunnen lezen, kan de assistent die in dat gesprek niet openen.
- Waarvoor de gegevens worden gebruikt
- Meta AI
Wat blokkeren verandert
Met een Disallow-regel verzoek je Meta-ExternalFetcher je pagina's niet te bezoeken. Sommige systemen die op verzoek van gebruikers pagina's ophalen, negeren mogelijk robots.txt. Gebruik toegangsbeheer op de server als een pagina privé moet blijven.
User-agent
Een representatieve useragent voor Meta-ExternalFetcher. We gebruiken de documentatie van de aanbieder als daarin een volledige string is gepubliceerd. Versies en browsergegevens in echte serverlogs kunnen afwijken.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)robots.txt-regels voor Meta-ExternalFetcher
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Meta-ExternalFetcher
Allow: /Blokkeren
User-agent: Meta-ExternalFetcher
Disallow: /Laat jouw site deze crawler toe?
De gratis crawlercheck leest je robots.txt voor Meta-ExternalFetcher en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.