AI-crawlare
Bingbot: en sökcrawlare som drivs av Microsoft
Bingbot är en sökcrawlare. Den läser sidor till sökindexet bakom Bing och Copilot och drivs av Microsoft.
Översikt
- Ansvarig för webbplatsen
- Microsoft
- robots.txt-token
Bingbot- Syfte
- Sökning. Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
- Vad den bidrar till
- Bing och Copilot
Vad som händer om du blockerar den
Om du stänger ute Bingbot kan dina sidor inte hittas eller citeras i söksvaren från Bing och Copilot.
Rader i robots.txt för Bingbot
robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).
För att släppa in den
User-agent: Bingbot
Allow: /För att stänga den ute
User-agent: Bingbot
Disallow: /Släpper din webbplats in den?
Kontrollen läser bara robots.txt för Bingbot och skickar ingen förfrågan med dess användaragent.