Bytespider: crawler per l’addestramento gestito da ByteDance
Bytespider è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: Doubao. È gestito da ByteDance.
In breve
- Gestore
- ByteDance
- Identificativo robots.txt
Bytespider- Scopo
- Addestramento. I crawler per l’addestramento raccolgono pagine per i modelli futuri. Bloccarli non ferma i crawler che recuperano pagine per fornire risposte, perché hanno nomi distinti.
- Cosa alimenta
- Doubao
Effetti del blocco
Se blocchi Bytespider, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: Doubao. I crawler che recuperano pagine per fornire risposte hanno nomi distinti e potranno comunque leggere il tuo sito.
User agent
Questo è lo user agent completo riportato nella documentazione del gestore. Le richieste di Bytespider lo includono e puoi vederlo nei log del server.
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [email protected])Regole robots.txt per Bytespider
robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).
Per consentire l’accesso
User-agent: Bytespider
Allow: /Per bloccare l’accesso
User-agent: Bytespider
Disallow: /Il tuo sito gli consente l’accesso?
Il controllo dei crawler legge il tuo robots.txt per Bytespider e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.