Amzn-SearchBot: een zoekcrawler van Amazon

Amzn-SearchBot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Alexa-zoekfunctie. Amazon beheert deze crawler.

In één oogopslag

Beheerder
Amazon
robots.txt-token
Amzn-SearchBot
Doel
Zoeken. Zoekcrawlers lezen pagina's om de index op te bouwen waarin een assistent zoekt wanneer die antwoord geeft. Een pagina die ze niet kunnen lezen, kan niet in die antwoorden worden gevonden of geciteerd.
Waarvoor de gegevens worden gebruikt
Alexa-zoekfunctie

Wat blokkeren verandert

Als je Amzn-SearchBot weert, kunnen je pagina's niet worden gevonden of geciteerd in de zoekantwoorden van Alexa-zoekfunctie.

User-agent

Een representatieve useragent voor Amzn-SearchBot. We gebruiken de documentatie van de aanbieder als daarin een volledige string is gepubliceerd. Versies en browsergegevens in echte serverlogs kunnen afwijken.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36

robots.txt-regels voor Amzn-SearchBot

robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).

Toelaten

User-agent: Amzn-SearchBot
Allow: /

Blokkeren

User-agent: Amzn-SearchBot
Disallow: /

Laat jouw site deze crawler toe?

De gratis crawlercheck leest je robots.txt voor Amzn-SearchBot en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.

Controleer of jouw site Amzn-SearchBot toelaat

Vragen over Amzn-SearchBot

Amzn-SearchBot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Alexa-zoekfunctie. Amazon beheert deze crawler.

Alleen als je niet wilt dat je pagina's verschijnen in de zoekantwoorden van Alexa-zoekfunctie. Andere crawlers blijven hierdoor ongemoeid.

Voeg een groep toe met de naam van de crawler en een regel voor alle paden: “User-agent: Amzn-SearchBot”, gevolgd door “Disallow: /”. Wil je de crawler toelaten, gebruik dan “Allow: /”.