Kan AI läsa min webbplats?

Kan AI läsa min webbplats? Jämför text, rubriker, länkar och strukturerad data i rå HTML för olika sökrobotar. Kontrollera åtkomstregler och upptäck sidor där innehållet byggs med JavaScript.

Gratis, inget konto krävs. Tio kontroller per timme sammanlagt i verktygen för AI-läsbarhet, mobilanpassning och teknik.

Vi skickar adressen till vårt API för den här kontrollen. Resultaten kan cachelagras i fem minuter.

AI-sökrobotar läser den HTML som servern skickar. I Vercels studie från december 2024 körde sökrobotarna bakom ChatGPT, Claude och Perplexity inte JavaScript. Därför nådde text som lades till av skript aldrig fram till dem. Ange en sida så hämtar vi den som fyra AI-sökrobotar och en webbläsare. Sedan ser du vilken text, vilka rubriker och vilka länkar var och en fick.

Så använder du det här kontrollverktyget

Fem förfrågningar för en sida
Vår server hämtar sidan som GPTBot, ClaudeBot, PerplexityBot och OAI-SearchBot med den user agent som respektive operatör publicerar, och en gång som Chrome på en dator. Varje förfrågan följer högst tre omdirigeringar och läser högst 3 MB.
robots.txt kontrolleras först
Vi läser webbplatsens robots.txt innan vi skickar någon förfrågan som sökrobot. Om robots.txt nekar en sökrobot åtkomst skickar vi ingen förfrågan till sidan, och visar vilken regel som blockerar den.
Siddirektiv och llms.txt
För varje sökrobot visas begränsande direktiv i meta robots och X-Robots-Tag, tillsammans med operatörens dokumentation om user agent. noai och noimageai är förfrågningar som inte följer någon standard. Vi kontrollerar även llms.txt som en mindre, frivillig signal. Vi mäter inte andelen renderad text. Jämförelser av antal ord bygger på rå HTML för datorer.
Inget JavaScript körs
Text, rubriker, länkar, titel, beskrivning och JSON-LD hämtas ur HTML exakt som servern skickade den. Ingenting på sidan körs. Det motsvarar hur sökrobotarna i Vercels studie läste sidor.
Så bedöms resultaten
Läsbar: minst 40 ord kom fram och inget tyder på att resten kräver JavaScript. Delvis läsbar: en kort sida, under 150 ord, med tecken på att den byggs med skript, eller mindre än hälften så många ord som i webbläsarens kopia. Tomt skal: inga läsbara ord trots skript, eller under 40 ord med en tom appbehållare, ett meddelande om JavaScript eller omfattande inbäddade skript. Blockerad: robots.txt, en nekad förfrågan eller en robotkontroll stoppade sökroboten.

Källa till vilka sökrobotar som kör JavaScript: Vercel, ”The rise of the AI crawler”, 17 december 2024. De sökrobotar från OpenAI, Anthropic, Meta, ByteDance och Perplexity som undersöktes körde inte JavaScript.

Frågor om det här kontrollverktyget

I Vercels studie ”The rise of the AI crawler” (17 december 2024) renderade ingen av de stora AI-sökrobotarna JavaScript. Det gällde bland annat OpenAI:s OAI-SearchBot, ChatGPT-User och GPTBot, Anthropics ClaudeBot och PerplexityBot. ChatGPT och Claude hämtade JavaScript-filer utan att köra dem. Gemini använder Googlebots infrastruktur, som renderar JavaScript. Sökrobotar kan förändras, så testa igen efter en omdesign.

Din webbläsare kör sidans skript, som bygger upp texten efter att sidan har laddats. En sökrobot som inte kör skript får bara den ursprungliga HTML-koden. I en klientrenderad app är det en tom behållare. Serverrendering, statisk generering eller förrendering lägger den färdiga texten i den ursprungliga HTML-koden.

Vissa webbplatser skickar en förrenderad kopia till sökrobotar och en sida byggd med skript till webbläsare. Kontrollen flaggar detta när en sökrobot får minst 150 ord och webbläsarens kopia färre än 40. Se till att kopiorna har samma innehåll i sak, eftersom sökmotorer betraktar olika innehåll för robotar och människor som cloaking.

En brandvägg eller tjänst för robotskydd kan neka förfrågan eller visa en kontrollsida innan den når webbplatsen. Tillåt sökroboten i den tjänsten, till exempel i Cloudflares robotinställningar. Våra förfrågningar kommer från en enda server. En blockering här är därför en stark indikation, men inget bevis, på vad den verkliga sökroboten får.

Nej. Det visar bara vad en sökrobot kan läsa på en enskild sida. Om en assistent nämner ditt företag beror på många andra källor. Den kostnadsfria AI-synlighetsskanningen kontrollerar verkliga svar.

Relaterade verktyg

  • Kontrollera webbplatsens teknik

    Använd verktyget för att identifiera programvara via synliga kännetecken och DNS. Granska öppet angivna versioner och underlag, jämför sedan två webbplatser och se om AI-sökrobotar får åtkomst.

  • Kontroll av AI-crawlers

    Använd den här kontrollen av AI-crawlers för att granska robots.txt-regler, indexeringssignaler och HTTP-svar. Undersök blockerad åtkomst innan du ändrar webbplatsens regler.

  • Skapa och validera llms.txt

    Använd verktyget för att skapa en redigerbar llms.txt-fil från en webbplats, en XML-webbplatskarta eller en inklistrad sidlista. Ordna innehållet i avsnitt, granska beskrivningarna och kopiera eller ladda ned Markdown-filen.

Se om ditt företag finns med i AI-svar

En sida som sökrobotar kan läsa är en utgångspunkt. Den kostnadsfria AI-synlighetsskanningen visar hur assistenter svarar om ditt företag och vad du bör arbeta vidare med.

Gör en gratis AI-synlighetsskanning