Bytespider: crawler per l’addestramento gestito da ByteDance

Bytespider è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: Doubao. È gestito da ByteDance.

In breve

Gestore
ByteDance
Identificativo robots.txt
Bytespider
Scopo
Addestramento. I crawler per l’addestramento raccolgono pagine per i modelli futuri. Bloccarli non ferma i crawler che recuperano pagine per fornire risposte, perché hanno nomi distinti.
Cosa alimenta
Doubao

Effetti del blocco

Se blocchi Bytespider, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: Doubao. I crawler che recuperano pagine per fornire risposte hanno nomi distinti e potranno comunque leggere il tuo sito.

User agent

Uno user agent rappresentativo per Bytespider. Usiamo la documentazione degli operatori quando è disponibile la stringa completa. Le versioni e i dettagli del browser nei log effettivi del server possono variare.

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

Regole robots.txt per Bytespider

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: Bytespider
Allow: /

Per bloccare l’accesso

User-agent: Bytespider
Disallow: /

Il tuo sito gli consente l’accesso?

Il controllo dei crawler legge il tuo robots.txt per Bytespider e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.

Controlla se il tuo sito consente l’accesso a Bytespider

Domande su Bytespider

Bytespider è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: Doubao. È gestito da ByteDance.

Sta a te decidere. Se lo blocchi, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: Doubao. Il blocco non riguarda i crawler che recuperano pagine per fornire risposte.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: Bytespider”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.