Meta-ExternalFetcher: en robot drevet av Meta som åpner sider på forespørsel
Meta-ExternalFetcher er en robot som åpner sider når noen ber Meta AI lese dem. Roboten drives av Meta.
Kort fortalt
- Driftsansvarlig
- Meta
- navn i robots.txt
Meta-ExternalFetcher- Formål
- Brukerforespørsel. Roboter som svarer på brukerforespørsler, åpner en side når noen ber en assistent lese den. En side de ikke kan lese, kan ikke åpnes i den samtalen.
- Hva den bidrar til
- Meta AI
Hva som skjer når den blokkeres
Et Disallow-direktiv ber Meta-ExternalFetcher om å holde seg unna sidene dine. Noen verktøy som henter sider på brukerens forespørsel, kan ignorere robots.txt. Bruk tilgangskontroll på serveren hvis en side må forbli privat.
Brukeragent
En representativ brukeragent for Meta-ExternalFetcher. Vi bruker dokumentasjon fra operatøren der hele strengen er publisert. Versjoner og nettleserdetaljer i faktiske serverlogger kan variere.
meta-externalfetcher/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)Linjer i robots.txt for Meta-ExternalFetcher
robots.txt er en ren tekstfil i roten av et nettsted (yoursite.com/robots.txt). En gruppe begynner med én eller flere User-agent-linjer som navngir roboter, etterfulgt av Allow- og Disallow-linjer for stier. En robot som er navngitt i en gruppe, følger gruppene der den er navngitt og ignorerer gruppen for alle roboter (User-agent: *).
For å slippe den inn
User-agent: Meta-ExternalFetcher
Allow: /For å holde den ute
User-agent: Meta-ExternalFetcher
Disallow: /Slipper nettstedet ditt den inn?
Den gratis robotsjekken leser robots.txt-filen din for Meta-ExternalFetcher og ber om siden din med robotens brukeragent. Slik ser du om en regel i robots.txt eller en brannmur avviser den.