Meta-WebIndexer: en sökcrawlare som drivs av Meta

Meta-WebIndexer är en sökcrawlare. Den läser sidor till sökindexet bakom Meta AI-sökning och drivs av Meta.

Översikt

Ansvarig för webbplatsen
Meta
robots.txt-token
Meta-WebIndexer
Syfte
Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
Vad den bidrar till
Meta AI-sökning

Vad som händer om du blockerar den

Om du stänger ute Meta-WebIndexer kan dina sidor inte hittas eller citeras i söksvaren från Meta AI-sökning.

Användaragent

En representativ user agent för Meta-WebIndexer. Vi använder operatörens dokumentation när en fullständig sträng finns publicerad. Versionsnummer och webbläsaruppgifter i faktiska serverloggar kan skilja sig.

meta-webindexer/1.1 (+/documentation/sharing/webmasters/web-crawlers)

Rader i robots.txt för Meta-WebIndexer

robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).

För att släppa in den

User-agent: Meta-WebIndexer
Allow: /

För att stänga den ute

User-agent: Meta-WebIndexer
Disallow: /

Släpper din webbplats in den?

Den kostnadsfria kontrollen läser din robots.txt för Meta-WebIndexer och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.

Kontrollera om din webbplats släpper in Meta-WebIndexer

Frågor om Meta-WebIndexer

Meta-WebIndexer är en sökcrawlare. Den läser sidor till sökindexet bakom Meta AI-sökning och drivs av Meta.

Bara om du inte vill att dina sidor ska finnas med i söksvaren från Meta AI-sökning. Det påverkar inte crawlare med andra namn.

Lägg till en grupp med dess namn och en regel som gäller alla sökvägar: ”User-agent: Meta-WebIndexer” följt av ”Disallow: /”. Skriv ”Allow: /” i stället för att släppa in den.