Bytespider: en träningscrawlare som drivs av ByteDance
Bytespider är en träningscrawlare. Den samlar in sidor till Doubao och drivs av ByteDance.
Översikt
- Ansvarig för webbplatsen
- ByteDance
- robots.txt-token
Bytespider- Syfte
- Träning. Träningscrawlare samlar in sidor till framtida modeller. Att stänga ute dem stoppar inte de crawlare som hämtar sidor för att ge svar. De har egna namn.
- Vad den bidrar till
- Doubao
Vad som händer om du blockerar den
Om du stänger ute Bytespider kommer dina sidor inte med i det som samlas in till Doubao. Crawlarna som hämtar sidor för att ge svar har egna namn och kan därför fortfarande läsa din webbplats.
Användaragent
Den fullständiga användaragenten enligt operatörens dokumentation. En förfrågan från Bytespider innehåller den här texten, som också syns i serverloggen.
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [email protected])Rader i robots.txt för Bytespider
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Bytespider
Allow: /För att stänga den ute
User-agent: Bytespider
Disallow: /Släpper din webbplats in den?
Den kostnadsfria kontrollen läser din robots.txt för Bytespider och begär din sida med dess användaragent. Då ser du om en regel i robots.txt eller en brandvägg stänger den ute.