Bytespider: een trainingscrawler van ByteDance
Bytespider is een trainingscrawler. Hij verzamelt pagina's voor Doubao. ByteDance beheert deze crawler.
In één oogopslag
- Beheerder
- ByteDance
- robots.txt-token
Bytespider- Doel
- Training. Trainingscrawlers verzamelen pagina's voor toekomstige modellen. Als je ze weert, kunnen crawlers die pagina's ophalen voor antwoorden je site nog steeds lezen. Die hebben eigen namen.
- Waarvoor de gegevens worden gebruikt
- Doubao
Wat blokkeren verandert
Als je Bytespider weert, worden je pagina's niet verzameld voor Doubao. Crawlers die pagina's ophalen voor antwoorden hebben eigen namen en kunnen je site dus nog steeds lezen.
User-agent
Een representatieve useragent voor Bytespider. We gebruiken de documentatie van de aanbieder als daarin een volledige string is gepubliceerd. Versies en browsergegevens in echte serverlogs kunnen afwijken.
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)robots.txt-regels voor Bytespider
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Bytespider
Allow: /Blokkeren
User-agent: Bytespider
Disallow: /Laat jouw site deze crawler toe?
De gratis crawlercheck leest je robots.txt voor Bytespider en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.