YouBot: en sökcrawlare som drivs av You.com

YouBot är en sökcrawlare. Den läser sidor till sökindexet bakom Svar från You.com och drivs av You.com.

Översikt

Ansvarig för webbplatsen
You.com
robots.txt-token
YouBot
Syfte
Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
Vad den bidrar till
Svar från You.com

Vad som händer om du blockerar den

Om du stänger ute YouBot kan dina sidor inte hittas eller citeras i söksvaren från Svar från You.com.

Användaragent

En representativ user agent för YouBot. Vi använder operatörens dokumentation när en fullständig sträng finns publicerad. Versionsnummer och webbläsaruppgifter i faktiska serverloggar kan skilja sig.

Mozilla/5.0 (compatible; YouBot/1.0; +https://about.you.com/youbot/)

Rader i robots.txt för YouBot

robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).

För att släppa in den

User-agent: YouBot
Allow: /

För att stänga den ute

User-agent: YouBot
Disallow: /

Släpper din webbplats in den?

Den kostnadsfria kontrollen läser din robots.txt för YouBot och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.

Kontrollera om din webbplats släpper in YouBot

Frågor om YouBot

YouBot är en sökcrawlare. Den läser sidor till sökindexet bakom Svar från You.com och drivs av You.com.

Bara om du inte vill att dina sidor ska finnas med i söksvaren från Svar från You.com. Det påverkar inte crawlare med andra namn.

Lägg till en grupp med dess namn och en regel som gäller alla sökvägar: ”User-agent: YouBot” följt av ”Disallow: /”. Skriv ”Allow: /” i stället för att släppa in den.