Tjek af AI-crawlere

Gennemgå robots.txt-regler, indekseringssignaler og HTTP-svar med dette værktøj til tjek af AI-crawlere. Undersøg blokeret adgang, før du ændrer reglerne for dit website.

Gratis, uden konto eller e-mail. Tjekket tager flere sekunder.

En hjemmeside eller en hvilken som helst anden side. Kun den angivne side bliver tjekket.

Dette gratis værktøj til tjek af AI-crawleres adgang læser robots.txt, kontrollerer meta robots og X-Robots-Tag-signaler og sender forespørgsler med AI-crawleres user agents. Hver række viser den regel, der matcher, og HTTP-svaret. Resultaterne tilladt, blokeret og uklart beskriver, hvad vi observerede fra vores server. De kan ikke bevise, at en rigtig crawler får samme svar.

Sådan fungerer tjekket

robots.txt
Websitets robots.txt læses én gang, og reglerne for hver crawler anvendes på siden som beskrevet i RFC 9309: En gruppe, der nævner crawleren ved navn, har forrang frem for gruppen for alle crawlere.
Forespørgsel som hver crawler
Siden hentes med hver crawlers user agent. Tabellen viser HTTP-status, eventuelle kontroludfordringer og den sendte user agent-streng. Google-Extended og Applebot-Extended er kontroltokens og sender ikke særskilte forespørgsler. Googlebot og Bingbot kontrolleres kun i robots.txt.
Kontrolforespørgsel
Siden hentes også som en almindelig browser. Hvis den forespørgsel også afvises, siger crawlerforespørgslerne intet om crawlere specifikt, og vurderingen bygger kun på robots.txt.
Begrænsningen
Vores forespørgsler sendes fra vores adresse. En firewall, der kontrollerer en crawlers offentliggjorte IP-adresser, kan afvise vores forespørgsel og stadig give den rigtige crawler adgang. Derfor vurderes Googlebot og Bingbot kun ud fra robots.txt.

Hver crawler i tabellen har sin egen side på listen over AI-crawlere.

Opret en komplet AI-robots.txt · Tjek længden på titel og beskrivelse

Spørgsmål om AI-crawlere

Indtast dit domæne eller en fuld sideadresse, og vælg Tjek siden. Se status for hver crawler, undersøg den robots.txt-linje, der matcher, og HTTP-svaret. Fjern derefter uønskede begrænsninger, og tjek igen. Kun den indsendte side testes. Resultater kan være gemt i cache i ti minutter.

Noindex beder søgemaskiner om at udelade en side fra deres indeks. Noai og noimageai udtrykker præferencer for brugen af indholdet, men understøttelsen varierer mellem operatører. Ingen af disse tags forhindrer en HTTP-forespørgsel. Værktøjet viser de observerede signaler særskilt fra robots.txt og firewall-svar.

Søgecrawlere som OAI-SearchBot indekserer indhold til svar. Brugercrawlere henter sider, når nogen beder om det. Træningscrawlere indsamler indhold til udvikling af modeller. Du kan vælge dine præferencer for træning særskilt. Google-Extended styrer også Geminis brug af kilder til svar, og nogle crawlere, der aktiveres af en bruger, kan ignorere robots.txt.

Et CDN, en firewall eller en tjeneste til beskyttelse mod bots kan afvise forespørgsler ud fra deres user agent, før robots.txt overhovedet bliver læst. Nogle har en særskilt indstilling for AI-crawlere. Websitet åbner stadig i en browser, så blokeringen bliver ikke opdaget.

Nej. llms.txt er et foreslået filformat, der opregner et websites vigtigste sider for sprogmodeller. Crawlers i dette tjek kræver, at robots.txt giver dem adgang, og at serveren leverer siden. En llms.txt-fil ændrer ingen af delene.

Nej. Det betyder kun, at assistenterne kan læse siden. Om en virksomhed bliver nævnt, afhænger af, hvad siden og andre websites siger om den.

Se, hvad assistenterne siger om dig

Den gratis scanning læser dit website, tjekker de samme crawlere og stiller assistenterne de spørgsmål, dine købere stiller.