Kontrollera AI-crawlers

Använd den här kontrollen av AI-crawlers för att granska robots.txt-regler, indexeringssignaler och HTTP-svar. Undersök blockerad åtkomst innan du ändrar webbplatsens regler.

Gratis, utan konto eller e-postadress. Kontrollen tar flera sekunder.

En startsida eller någon annan sida. Bara den sidan kontrolleras.

Den här kostnadsfria kontrollen av AI-crawlers åtkomst läser robots.txt, kontrollerar meta robots och X-Robots-Tag samt skickar förfrågningar med AI-crawlers user-agent-strängar. Varje rad visar den matchande regeln och HTTP-svaret. Resultaten tillåten, blockerad och oklart beskriver vad vi observerade från vår server. De kan inte bevisa att en verklig crawler får samma svar.

Så fungerar kontrollen

robots.txt
Webbplatsens robots.txt läses en gång och reglerna för varje crawler tillämpas på sidan enligt RFC 9309: gruppen som namnger crawlern gäller framför gruppen för alla crawlers.
En förfrågan som varje crawler
Sidan begärs med varje crawlers user-agent-sträng. Tabellen visar HTTP-status, eventuella kontrollsteg och den skickade strängen. Google-Extended och Applebot-Extended är kontrolltoken utan separata förfrågningar. Googlebot och Bingbot kontrolleras bara i robots.txt.
Kontrollförfrågan
Sidan begärs också som från en vanlig webbläsare. Om även den förfrågan nekas säger crawlerförfrågningarna inget om just crawlers, och bedömningen grundas enbart på robots.txt.
Begränsningen
Våra förfrågningar kommer från vår adress. En brandvägg som kontrollerar en crawlers publicerade IP-adresser kan neka vår förfrågan men ändå släppa in den verkliga crawlern. Därför bedöms Googlebot och Bingbot enbart utifrån robots.txt.

Varje crawlare i tabellen har en egen sida i listan över AI-crawlare.

Skapa en fullständig robots.txt för AI · Kontrollera längden på titeln och beskrivningen

Frågor om AI-sökrobotar

Ange din domän eller en fullständig sidadress och välj Kontrollera sidan. Läs statusen för varje crawler, granska den matchande raden i robots.txt och HTTP-svaret, åtgärda oönskade begränsningar och kontrollera igen. Bara sidan du anger testas. Resultaten kan vara cachade i tio minuter.

Noindex ber sökmotorer att utelämna en sida ur sitt index. Noai och noimageai uttrycker önskemål om användning, men stödet varierar mellan operatörer. Ingen av dessa taggar förhindrar en HTTP-förfrågan. Kontrollen visar de observerade signalerna separat från robots.txt och brandväggens svar.

Sökcrawlers, som OAI-SearchBot, indexerar innehåll som kan användas i svar. Crawlers för användarförfrågningar hämtar sidor när någon ber om det. Träningscrawlers samlar in innehåll för modellutveckling. Du kan ange separata önskemål för träning. Google-Extended styr också Gemini-grounding, och vissa hämtverktyg som aktiveras av användare kan ignorera robots.txt.

Ett CDN, en brandvägg eller en tjänst för botskydd kan neka förfrågningar baserat på user-agent-strängen innan robots.txt ens läses. Vissa har en särskild inställning för AI-crawlers. Webbplatsen öppnas fortfarande i en webbläsare, så blockeringen kan förbli oupptäckt.

Nej. llms.txt är ett föreslaget filformat som listar en webbplats viktigaste sidor för språkmodeller. Crawlers i den här kontrollen behöver tillåtas av robots.txt och kunna hämta sidan från servern. En llms.txt-fil ändrar inget av detta.

Nej. Det innebär bara att assistenterna kan läsa sidan. Om ett företag nämns beror på vad sidan och andra webbplatser säger om det.

Se vad assistenterna säger om dig

Den kostnadsfria skanningen läser din webbplats, kontrollerar samma crawlers och ställer dina köpares frågor till assistenterna.