Analyse av KI-crawlerlogger

Bruk dette verktøyet til å analysere KI-crawlerlogger og telle besøk etter robot, sti, status og dag. Sammenlign kilde-IP-adresser med offisielle adresseområder lokalt. Loggen din lastes aldri opp.

Les serverloggen din

Ingenting lastes opp. Loggen blir værende på datamaskinen din.

Ren tekst, CSV eller .gz. Opptil 250 MiB, inkludert dekomprimert innhold. Ett format per fil.

Eksempellinjene er oppdiktet og viser bare hvordan rapporten ser ut.

Serverlogger registrerer forespørsler som nådde serveren din. Dette gratisverktøyet grupperer kjente crawler-identifikatorer i user agent-feltet og viser daglige besøk, forespurte stier og svarkoder. Et besøk viser at en side ble hentet, ikke at den ble sitert eller anbefalt. User agent kan forfalskes, så tallene bygger på oppgitte identiteter til du har kontrollert kilde-IP-adressene.

Slik fungerer det

Les loggen din
Velg en fil i ren tekst, CSV eller gzip, eller lim inn logglinjer. Kombinerte logger fra Apache og Nginx, JSON-linjer fra Caddy, JSON fra Cloudflare Logpush og CloudFront-logger med #Fields-header gjenkjennes automatisk. CSV må ha kolonner for user agent, sti, status og tidsstempel. Rekkefølgen spiller ingen rolle.
Tell forespørsler
Kjente crawler-identifikatorer matches som hele ord i user agent-feltet. Hver operatør får egne totaler. Andre kjente crawlere samles under Andre crawlere, mens uklassifiserte forespørsler holdes atskilt. Datoer vises i UTC, og spørringsstrenger fjernes fra stiene.
Begrens minnebruken
Grensen er 250 MiB for filen og det dekomprimerte innholdet, 256 KiB per oppføring, 100 000 ulike crawler-stier, 100 000 ulike kombinasjoner av feil og sti på tvers av grupper og 3 660 dager per gruppe. Parsingen stopper med en feilmelding når en grense nås. De 20 mest besøkte stiene og de 20 vanligste feilstiene per gruppe telles nøyaktig innenfor disse grensene.
Kontroller identiteten
Last ned mellomlagrede offisielle IP-adresselister, og sammenlign deretter kilde-IP-adresser lokalt. Delte adresseområder støtter bare påstanden om hvem operatøren er. Manglende lister, IP-adresser som ikke finnes i loggen, og utdaterte kopier vises fortsatt. Det gjøres ingen forespørsel om omvendt DNS-oppslag.

Spørsmål om crawlerlogger

Nei. En loggoppføring registrerer en forespørsel. Den viser ikke hva en assistent svarte, om siden ble sitert, eller om en besøkende så en anbefaling.

Google-Extended er en kontrollidentifikator i robots.txt for hvordan innhold kan brukes, ikke en egen HTTP-crawler. Det er Googlebot som sender forespørslene. Applebot-Extended styrer også hvordan innhentet innhold brukes, og sender heller ingen egne forespørsler.

Det kan hende det ikke var noen besøk i den valgte perioden, eller at CDN-et ditt svarte på forespørslene før de nådde serveren. Sjekk både logger fra CDN-et og opprinnelsesserveren. Forespørsler uten user agent-header kan heller ikke klassifiseres.

Feilformaterte oppføringer telles, men tas ikke med i oppsummeringen. Det gjenkjente formatet brukes for hele filen. Analyser logger med ulike formater hver for seg.

Bruk user_agent, path, status og timestamp, i valgfri rekkefølge. Vanlige alternative navn som UserAgent, uri, status_code, time og feltnavn fra Cloudflare godtas også. Felter i anførselstegn, maskerte anførselstegn og felt over flere linjer støttes.

Relaterte verktøy

  • Sjekk KI-crawlere

    Bruk dette verktøyet til å sjekke robots.txt-regler, indekseringssignaler og HTTP-svar for KI-crawlere. Undersøk blokkert tilgang før du endrer reglene på nettstedet ditt.

  • Sjekk IP-adresse for søkeroboter

    Sammenlign opptil 50 adresser med publiserte IP-områder for søkeroboter. Lim inn IP-adresser eller et utdrag fra en logg, og se hvilke operatører som samsvarer.

  • Henvisningstrafikk fra KI i GA4

    Spor henvisningstrafikk fra KI med et kildefilter i GA4. Velg assistenter, test regex-uttrykket mot kildelisten din og kopier det inn i rapporten.

Se om assistenter nevner bedriften din

Crawler-besøk viser at nettstedet er hentet. Den gratis kontrollen av KI-synlighet viser hvilke bedrifter assistenter nevner i svarene sine.

Kjør en gratis kontroll av KI-synlighet