Applebot: een zoekcrawler van Apple
Applebot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Siri en Spotlight. Apple beheert deze crawler.
In één oogopslag
- Beheerder
- Apple
- robots.txt-token
Applebot- Doel
- Zoeken. Zoekcrawlers lezen pagina's om de index op te bouwen waarin een assistent zoekt wanneer die antwoord geeft. Een pagina die ze niet kunnen lezen, kan niet in die antwoorden worden gevonden of geciteerd.
- Waarvoor de gegevens worden gebruikt
- Siri en Spotlight
Wat blokkeren verandert
Als je Applebot weert, kunnen je pagina's niet worden gevonden of geciteerd in de zoekantwoorden van Siri en Spotlight.
User-agent
De volledige user-agent volgens de documentatie van de beheerder. Een verzoek van Applebot bevat deze tekst, die ook in serverlogs te zien is.
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)robots.txt-regels voor Applebot
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Applebot
Allow: /Blokkeren
User-agent: Applebot
Disallow: /Laat jouw site deze crawler toe?
De gratis crawlercheck leest je robots.txt voor Applebot en vraagt je pagina op met de bijbehorende user-agent. Zo zie je of een robots.txt-regel of een firewall deze crawler weert.