AI-crawlerlogs analyseren

Tel met deze tool bezoeken van AI-crawlers per bot, pad, status en dag. Vergelijk bron-IP-adressen lokaal met officiële adresreeksen. Je logbestand wordt nooit geüpload.

Lees je serverlogbestand

Er wordt niets geüpload. Je logbestand blijft op je computer.

Platte tekst, CSV of .gz. Maximaal 250 MiB, inclusief gedecomprimeerde inhoud. Eén formaat per bestand.

De voorbeeldregels zijn fictief en laten alleen zien hoe het rapport eruitziet.

Serverlogs registreren verzoeken die je server hebben bereikt. Deze gratis tool groepeert bekende crawler-useragents en toont bezoeken per dag, opgevraagde paden en responscodes. Een bezoek betekent dat een pagina is opgehaald, niet dat deze is geciteerd of aanbevolen. Useragents kunnen worden vervalst. Controleer daarom de bron-IP-adressen voordat je de aantallen vertrouwt.

Hoe dit werkt

Lees je logbestand
Kies een tekst-, CSV- of gzip-bestand, of plak logregels. Gecombineerde logs van Apache en Nginx, Caddy JSON-regels, Cloudflare Logpush JSON en CloudFront met een #Fields-header worden automatisch herkend. Een CSV-bestand moet kolommen bevatten voor useragent, pad, status en tijdstempel. De volgorde maakt niet uit.
Tel verzoeken
Bekende crawlertokens worden alleen als volledige tokens in de useragent herkend. Elke aanbieder krijgt eigen totalen. Andere bekende crawlers vallen onder Overige crawlers; niet-geclassificeerde verzoeken blijven apart. Datums worden in UTC getoond en querystrings worden uit paden verwijderd.
Beperk het geheugengebruik
De limiet is 250 MiB voor het bestand én de gedecomprimeerde inhoud, 256 KiB per record, 100.000 verschillende crawlerpaden, 100.000 verschillende combinaties van fout en pad over alle groepen, en 3.660 dagen per groep. Bij het bereiken van een limiet stopt de verwerking met een foutmelding. De 20 populairste paden en 20 meest voorkomende foutpaden per groep zijn binnen die limieten exact.
Controleer de identiteit
Download gecachte officiële adreslijsten en vergelijk bron-IP-adressen daarna lokaal. Gedeelde adresreeksen ondersteunen alleen de claim over de aanbieder. Ontbrekende lijsten, ontbrekende IP-adressen en verouderde kopieën blijven zichtbaar. Er wordt geen reverse-DNS-verzoek gedaan.

Vragen over crawlerlogbestanden

Nee. Een logregel registreert een verzoek. Je ziet er niet aan wat een assistent antwoordde, of die de pagina citeerde of dat een bezoeker een aanbeveling zag.

Google-Extended is een token voor gebruiksregels in robots.txt, geen afzonderlijke HTTP-crawler. Googlebot doet de verzoeken. Applebot-Extended regelt ook hoe gecrawlde inhoud wordt gebruikt en doet zelf geen afzonderlijke verzoeken.

In de gekozen periode waren er misschien geen bezoeken, of je CDN heeft de verzoeken afgehandeld voordat ze je server bereikten. Controleer zowel de edge-logs als de origin-logs. Zonder useragent-header kan een verzoek bovendien niet worden geclassificeerd.

Ongeldige records worden geteld en niet meegenomen in het overzicht. Het gedetecteerde formaat geldt voor het hele bestand. Analyseer logbestanden met verschillende formaten afzonderlijk.

Gebruik user_agent, path, status en timestamp, in willekeurige volgorde. Veelgebruikte alternatieven zoals UserAgent, uri, status_code, time en Cloudflare-veldnamen worden ook geaccepteerd. Velden tussen aanhalingstekens, letterlijke aanhalingstekens en velden met meerdere regels worden ondersteund.

Gerelateerde tools

  • AI-crawlercontrole

    Controleer met deze AI-crawlerchecker de robots.txt-regels, indexeringssignalen en HTTP-responses. Bekijk geblokkeerde toegang voordat je de regels van je site wijzigt.

  • Crawler-IP-checker

    Vergelijk met deze crawler-IP-checker maximaal 50 adressen met gepubliceerde IP-bereiken van bots. Plak IP-adressen of een logfragment en bekijk welke operators overeenkomen.

  • AI-verwijzingsverkeer in GA4

    Volg AI-verwijzingsverkeer met een bronfilter in GA4. Kies assistenten, test de regex op je bronnenlijst en kopieer deze naar je rapport.

Ontdek of assistenten je bedrijf noemen

Bezoeken van crawlers laten zien dat ze toegang hadden. De gratis AI-zichtbaarheidscheck laat zien welke bedrijven assistenten in hun antwoorden noemen.

Doe de gratis AI-zichtbaarheidscheck