Meta-WebIndexer: En søgecrawler, som drives af Meta

Meta-WebIndexer er en søgecrawler. Den læser sider til søgeindekset bag produktet (Meta AI-søgning). Operatøren er Meta.

Overblik

Ansvarlig virksomhed
Meta
robots.txt-token
Meta-WebIndexer
Formål
Søgning. Søgecrawlere læser sider for at opbygge det indeks, en assistent søger i, når den svarer. Hvis de ikke kan læse en side, kan den hverken findes eller citeres i de svar.
Hvad den leverer data til
Meta AI-søgning

Hvad det ændrer at blokere den

Hvis du blokerer Meta-WebIndexer, kan dine sider ikke findes eller citeres i søgesvar fra produktet (Meta AI-søgning).

User agent

En repræsentativ user agent for Meta-WebIndexer. Vi bruger operatørens dokumentation, når den fulde streng er offentliggjort. Versionsnumre og browseroplysninger i faktiske serverlogs kan variere.

meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)

Linjer i robots.txt for Meta-WebIndexer

robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).

Tillad adgang

User-agent: Meta-WebIndexer
Allow: /

Blokér adgang

User-agent: Meta-WebIndexer
Disallow: /

Giver dit website adgang?

Det gratis crawlertjek læser din robots.txt for Meta-WebIndexer og henter din side med crawlerens user agent. Så kan du se, om en regel i robots.txt eller en firewall afviser den.

Tjek, om dit website giver adgang til Meta-WebIndexer

Spørgsmål om Meta-WebIndexer

Meta-WebIndexer er en søgecrawler. Den læser sider til søgeindekset bag produktet (Meta AI-søgning). Operatøren er Meta.

Kun hvis du ikke ønsker, at dine sider skal vises i søgesvar fra produktet (Meta AI-søgning). Det ændrer ikke noget for crawlere med andre navne.

Tilføj en gruppe med crawlerens navn og en regel for alle stier: “User-agent: Meta-WebIndexer” efterfulgt af “Disallow: /”. Vil du give den adgang, skal du skrive “Allow: /” i stedet.