Amazonbot: crawler per l’addestramento gestito da Amazon

Amazonbot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: Prodotti e modelli Amazon. È gestito da Amazon.

In breve

Gestore
Amazon
Identificativo robots.txt
Amazonbot
Scopo
Addestramento. I crawler per l’addestramento raccolgono pagine per i modelli futuri. Bloccarli non ferma i crawler che recuperano pagine per fornire risposte, perché hanno nomi distinti.
Cosa alimenta
Prodotti e modelli Amazon

Effetti del blocco

Se blocchi Amazonbot, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: Prodotti e modelli Amazon. I crawler che recuperano pagine per fornire risposte hanno nomi distinti e potranno comunque leggere il tuo sito.

User agent

Uno user agent rappresentativo per Amazonbot. Usiamo la documentazione degli operatori quando è disponibile la stringa completa. Le versioni e i dettagli del browser nei log effettivi del server possono variare.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Regole robots.txt per Amazonbot

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: Amazonbot
Allow: /

Per bloccare l’accesso

User-agent: Amazonbot
Disallow: /

Il tuo sito gli consente l’accesso?

Il controllo dei crawler legge il tuo robots.txt per Amazonbot e richiede una pagina usando il suo user agent. Ti mostra così se a bloccarlo è una regola robots.txt o un firewall.

Controlla se il tuo sito consente l’accesso a Amazonbot

Domande su Amazonbot

Amazonbot è un crawler per l’addestramento. Raccoglie pagine per questo prodotto: Prodotti e modelli Amazon. È gestito da Amazon.

Sta a te decidere. Se lo blocchi, le tue pagine resteranno fuori dai contenuti che raccoglie per questo prodotto: Prodotti e modelli Amazon. Il blocco non riguarda i crawler che recuperano pagine per fornire risposte.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: Amazonbot”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.