Claude-SearchBot: en sökcrawlare som drivs av Anthropic

Claude-SearchBot är en sökcrawlare. Den läser sidor till sökindexet bakom Claude-sökning och drivs av Anthropic.

Översikt

Ansvarig för webbplatsen
Anthropic
robots.txt-token
Claude-SearchBot
Syfte
Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
Vad den bidrar till
Claude-sökning

Vad som händer om du blockerar den

Om du stänger ute Claude-SearchBot kan dina sidor inte hittas eller citeras i söksvaren från Claude-sökning.

Användaragent

En representativ user agent för Claude-SearchBot. Vi använder operatörens dokumentation när en fullständig sträng finns publicerad. Versionsnummer och webbläsaruppgifter i faktiska serverloggar kan skilja sig.

Claude-SearchBot

Rader i robots.txt för Claude-SearchBot

robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).

För att släppa in den

User-agent: Claude-SearchBot
Allow: /

För att stänga den ute

User-agent: Claude-SearchBot
Disallow: /

Släpper din webbplats in den?

Den kostnadsfria kontrollen läser din robots.txt för Claude-SearchBot och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.

Kontrollera om din webbplats släpper in Claude-SearchBot

Frågor om Claude-SearchBot

Claude-SearchBot är en sökcrawlare. Den läser sidor till sökindexet bakom Claude-sökning och drivs av Anthropic.

Bara om du inte vill att dina sidor ska finnas med i söksvaren från Claude-sökning. Det påverkar inte crawlare med andra namn.

Lägg till en grupp med dess namn och en regel som gäller alla sökvägar: ”User-agent: Claude-SearchBot” följt av ”Disallow: /”. Skriv ”Allow: /” i stället för att släppa in den.