AI-crawlers
Bingbot: een zoekcrawler van Microsoft
Bingbot is een zoekcrawler. Hij leest pagina's voor de zoekindex achter Bing en Copilot. Microsoft beheert deze crawler.
In één oogopslag
- Beheerder
- Microsoft
- robots.txt-token
Bingbot- Doel
- Zoeken. Zoekcrawlers lezen pagina's om de index op te bouwen waarin een assistent zoekt wanneer die antwoord geeft. Een pagina die ze niet kunnen lezen, kan niet in die antwoorden worden gevonden of geciteerd.
- Waarvoor de gegevens worden gebruikt
- Bing en Copilot
Wat blokkeren verandert
Als je Bingbot weert, kunnen je pagina's niet worden gevonden of geciteerd in de zoekantwoorden van Bing en Copilot.
robots.txt-regels voor Bingbot
robots.txt is een tekstbestand in de hoofdmap van een site (yoursite.com/robots.txt). Een groep begint met één of meer User-agent-regels die crawlers benoemen, gevolgd door Allow- en Disallow-regels voor paden. Een crawler die in een groep wordt genoemd, volgt de groepen met zijn naam en negeert de groep voor alle crawlers (User-agent: *).
Toelaten
User-agent: Bingbot
Allow: /Blokkeren
User-agent: Bingbot
Disallow: /Laat jouw site deze crawler toe?
De crawlercheck leest voor Bingbot alleen robots.txt en verstuurt geen verzoek namens deze crawler.