Analys av AI-crawlerloggar

Använd verktyget för att räkna besök per sökrobot, sökväg, statuskod och dag. Jämför källornas IP-adresser med officiella adressintervall lokalt. Din logg laddas aldrig upp.

Läs din serverlogg

Ingenting laddas upp. Loggen stannar på din dator.

Ren text, CSV eller .gz. Högst 250 MiB, inklusive uppackat innehåll. Ett format per fil.

Exempelraderna är påhittade och visar bara hur rapporten ser ut.

Serverloggar registrerar förfrågningar som når din server. Det här kostnadsfria verktyget grupperar kända sökrobotar utifrån deras user agent och visar dagliga besök, begärda sökvägar och svarskoder. Ett besök visar att en sida har hämtats, inte att den har citerats eller rekommenderats. User agent kan förfalskas, så uppgifterna behöver verifieras mot källornas IP-adresser.

Så fungerar det

Läs in din logg
Välj en fil med ren text, CSV eller gzip, eller klistra in loggrader. Kombinerade loggar från Apache och Nginx, JSON-rader från Caddy, JSON från Cloudflare Logpush och CloudFront-loggar med #Fields-rubrik identifieras automatiskt. CSV-filer behöver kolumner för user agent, sökväg, statuskod och tidsstämpel, men ordningen spelar ingen roll.
Räkna förfrågningar
Kända crawlertoken matchas som hela token i user agent. Varje operatör får egna totalsiffror. Andra kända sökrobotar samlas under Övriga sökrobotar, medan oklassificerade förfrågningar redovisas separat. Datum visas i UTC och frågesträngar tas bort från sökvägarna.
Begränsa minnesanvändningen
Gränsen är 250 MiB för både filen och dess uppackade innehåll, 256 KiB per post, 100 000 unika sökvägar som besökts av sökrobotar, 100 000 unika par av felkod och sökväg sammanlagt över grupperna samt 3 660 dagar per grupp. Analysen avbryts med ett felmeddelande om en gräns nås. De 20 vanligaste sökvägarna och de 20 vanligaste felsökvägarna per grupp räknas exakt inom dessa gränser.
Kontrollera identiteten
Ladda ned cachade officiella adresslistor och jämför sedan källornas IP-adresser lokalt. Delade adressintervall kan bara styrka vilken operatör det gäller. Saknade listor, förfrågningar utan IP-adress och inaktuella kopior visas fortfarande. Ingen omvänd DNS-sökning görs.

Frågor om sökrobotloggar

Nej. En loggpost visar att en förfrågan gjorts. Den visar inte vad en assistent svarade, om den citerade sidan eller om besökaren såg en rekommendation.

Google-Extended är en token i robots.txt som styr användningen av innehåll, inte en separat HTTP-sökrobot. Det är Googlebot som gör förfrågningarna. Applebot-Extended styr också hur genomsökt innehåll används och gör inga egna förfrågningar.

Det kanske inte skedde några besök under den valda perioden, eller så besvarar ditt CDN förfrågningar innan de når din server. Kontrollera både loggar från nätverkets ytterkant och från ursprungsservern. Om user agent saknas kan förfrågan inte heller klassificeras.

Felaktigt formaterade poster räknas men tas inte med i sammanställningen. Det identifierade formatet gäller för hela filen. Analysera loggar med olika format var för sig.

Använd user_agent, path, status och timestamp, i valfri ordning. Vanliga alternativa namn som UserAgent, uri, status_code och time, samt Cloudflare-fältnamn, godtas också. Citerade fält, escape-tecken i citattecken och flerradiga fält stöds.

Relaterade verktyg

  • Kontroll av AI-crawlers

    Använd den här kontrollen av AI-crawlers för att granska robots.txt-regler, indexeringssignaler och HTTP-svar. Undersök blockerad åtkomst innan du ändrar webbplatsens regler.

  • IP-kontroll för sökrobotar

    Jämför upp till 50 adresser med publicerade IP-intervall för sökrobotar. Klistra in IP-adresser eller ett utdrag ur en logg och se vilka operatörer som matchar.

  • Hänvisningstrafik från AI i GA4

    Spåra hänvisningstrafik från AI med ett källfilter i GA4. Välj assistenter, testa regexmönstret mot din källista och kopiera det till din rapport.

Se om assistenter nämner ditt företag

Besök från sökrobotar visar att de har hämtat innehåll. Den kostnadsfria AI-synlighetskontrollen visar vilka företag assistenter nämner i sina svar.

Gör en kostnadsfri AI-synlighetskontroll