Loganalysator til AI-crawlere

Brug denne loganalysator til AI-crawlere til at tælle besøg efter bot, sti, statuskode og dag. Sammenlign kilde-IP-adresser lokalt med officielle IP-intervaller. Din logfil bliver aldrig uploadet.

Læs din serverlog

Intet uploades. Din log bliver på din computer.

Ren tekst, CSV eller .gz. Op til 250 MiB inklusive udpakket indhold. Ét format pr. fil.

Eksempellinjerne er fiktive og viser kun, hvordan rapporten ser ud.

Serverlogfiler registrerer forespørgsler, der nåede frem til din server. Denne gratis analysator grupperer kendte crawleres user agents og viser daglige besøg, besøgte stier og svarkoder. Et besøg viser, at en side blev hentet, ikke at den blev citeret eller anbefalet. User agents kan forfalskes, så tallene er ubekræftede, indtil du har kontrolleret kilde-IP-adresserne.

Sådan fungerer det

Læs din logfil
Vælg en fil i ren tekst, CSV eller gzip, eller indsæt linjer. Apache- og Nginx-logfiler i combined-format, Caddy JSON-linjer, Cloudflare Logpush JSON og CloudFront med en #Fields-header registreres automatisk. CSV kræver kolonner for user agent, sti, statuskode og tidsstempel, men rækkefølgen er ligegyldig.
Tæl forespørgsler
Kendte crawlerbetegnelser matches som hele tokens i user agent-feltet. Hver operatør får sine egne samlede tal. Andre kendte crawlere samles under Andre crawlere, mens uklassificerede forespørgsler vises separat. Datoer vises i UTC, og forespørgselsstrenge fjernes fra stierne.
Hold hukommelsesforbruget nede
Grænsen er 250 MiB for filen og dens udpakkede indhold, 256 KiB pr. post, 100.000 forskellige crawlerstier, 100.000 forskellige kombinationer af fejl og sti på tværs af grupper samt 3.660 dage pr. gruppe. Når en grænse nås, stopper behandlingen med en fejl. De 20 hyppigste stier og 20 hyppigste fejlstier pr. gruppe er opgjort præcist inden for disse grænser.
Kontrollér identiteten
Download cachelagrede officielle IP-adresselister, og sammenlign kilde-IP-adresser lokalt. Delte IP-intervaller understøtter kun identificeringen af operatøren. Manglende lister, fraværende IP-adresser og forældede kopier vises fortsat. Der foretages ingen omvendt DNS-forespørgsel.

Spørgsmål om crawlerlogge

Nej. En logpost registrerer en forespørgsel. Den viser ikke, hvad en assistent svarede, om den citerede siden, eller om besøgende så en anbefaling.

Google-Extended er en betegnelse, der styrer brugen af indhold via robots.txt, ikke en selvstændig HTTP-crawler. Det er Googlebot, der sender forespørgslerne. Applebot-Extended styrer også, hvordan crawlet indhold må bruges, og sender ikke selv forespørgsler.

Der har måske ikke været besøg i den valgte periode, eller dit CDN kan have besvaret forespørgslerne, før de nåede din server. Tjek både logfiler fra CDN'ets edge-servere og fra din oprindelige server. En manglende user agent-header forhindrer også klassificering.

Poster i forkert format tælles med, men udelades fra oversigten. Det registrerede format gælder for hele filen. Analysér logfiler med forskellige formater hver for sig.

Brug user_agent, path, status og timestamp i vilkårlig rækkefølge. Almindelige alternativer som UserAgent, uri, status_code, time og Cloudflare-feltnavne accepteres også. Felter i anførselstegn, escapede anførselstegn og felter over flere linjer understøttes.

Relaterede værktøjer

  • Tjek AI-crawlere

    Gennemgå robots.txt-regler, indekseringssignaler og HTTP-svar med dette værktøj til tjek af AI-crawlere. Undersøg blokeret adgang, før du ændrer reglerne for dit website.

  • Tjek af crawleres IP-adresser

    Sammenlign op til 50 adresser med offentliggjorte IP-intervaller for bots. Indsæt IP-adresser eller et uddrag af en log, og se, hvilke operatører adresserne matcher.

  • Henvisningstrafik fra AI i GA4

    Spor henvisningstrafik fra AI med et kildefilter i GA4. Vælg assistenter, test det regulære udtryk mod din kildeliste, og kopiér det til din rapport.

Se, om assistenter nævner din virksomhed

Crawlerbesøg viser, at dit website er blevet tilgået. Det gratis tjek af AI-synlighed viser, hvilke virksomheder assistenter nævner i deres svar.

Tjek din AI-synlighed gratis