Er mit website klar til AI-agenter?

robots.txt fortæller robotter, hvilke sider de må læse. Vi leder efter de 17 AI-agentnavne, som undersøgelsen ledte efter, og sorterer dem efter brug: træningscrawlere indsamler sider til at træne modeller, søgecrawlere bygger et AI-søgeindeks, og brugeragenter henter en side, fordi en person har bedt om det. En regel for én type dækker ikke de andre. I undersøgelsen lukkede 3,7 % af de websites, hvor robots.txt gav et klart svar, forsiden for en AI-agent ved navn.

En firewall eller en beskyttelsestjeneste mod bots besvarede vores forespørgsel med en fejlstatus som 403 eller 429 eller med en udfordringsside i stedet for dit website. Det er let at overse, fordi websitet stadig åbner i din browser. I undersøgelsen afviste 8,9 % af websitene vores læser på denne måde, flere end dem, robots.txt afviste.

Det læser robots.txt, din forside og op til tre sider på samme website, der er linket til, uden at køre scripts, og det holder op med at læse en side ved 3 MB. En bookingwidget, som et script tegner, efter siden er indlæst, kan blive overset, så link også til din bookingside. Links til andre websites noteres, men åbnes ikke, og intet indsendes eller bookes.

Link til din booking- eller bestillingstjeneste fra forsiden med et almindeligt link, giv hvert formularfelt en label, og beskriv din virksomhed i LocalBusiness-markup med åbningstider, et telefonnummer og en handling, der angiver din bookingadresse. Tjek derefter, at din firewall slipper AI-agenter ind. AI Local Fix tilføjer LocalBusiness-markup til op til 10 af dine sider som en del af grundarbejdet.