Bytespider: en treningsrobot drevet av ByteDance
Bytespider er en treningsrobot. Den samler inn sider til Doubao og drives av ByteDance.
Kort fortalt
- Driftsansvarlig
- ByteDance
- navn i robots.txt
Bytespider- Formål
- Trening. Treningsroboter samler inn sider til fremtidige modeller. Hvis du holder dem ute, kan robotene som henter sider for å gi svar, fortsatt slippe inn. De har egne navn.
- Hva den bidrar til
- Doubao
Hva som skjer når den blokkeres
Hvis du holder Bytespider ute, blir ikke sidene dine med i det roboten samler inn til Doubao. Robotene som henter sider for å gi svar, har egne navn og kan fortsatt lese nettstedet ditt.
Brukeragent
Den fullstendige brukeragenten fra dokumentasjonen til den som driver roboten. En forespørsel fra Bytespider inneholder denne teksten, som vises i serverloggen.
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [email protected])Linjer i robots.txt for Bytespider
robots.txt er en ren tekstfil i roten av et nettsted (yoursite.com/robots.txt). En gruppe begynner med én eller flere User-agent-linjer som navngir roboter, etterfulgt av Allow- og Disallow-linjer for stier. En robot som er navngitt i en gruppe, følger gruppene der den er navngitt og ignorerer gruppen for alle roboter (User-agent: *).
For å slippe den inn
User-agent: Bytespider
Allow: /For å holde den ute
User-agent: Bytespider
Disallow: /Slipper nettstedet ditt den inn?
Den gratis robotsjekken leser robots.txt-filen din for Bytespider og ber om siden din med robotens brukeragent. Slik ser du om en regel i robots.txt eller en brannmur avviser den.