Analizator logów botów AI

Ten analizator logów botów AI zlicza wizyty według bota, ścieżki, kodu odpowiedzi i dnia. Porównaj źródłowe adresy IP z oficjalnymi zakresami lokalnie. Twój log nigdy nie jest przesyłany.

Odczytaj log serwera

Nic nie jest przesyłane. Twój log pozostaje na twoim komputerze.

Zwykły tekst, CSV lub .gz. Do 250 MiB, wliczając dane po dekompresji. Jeden format na plik.

Przykładowe wiersze są fikcyjne i służą tylko do pokazania raportu.

Logi serwera rejestrują żądania, które dotarły do twojego serwera. Ten bezpłatny analizator grupuje znane identyfikatory botów i pokazuje liczbę wizyt w poszczególnych dniach, żądane ścieżki oraz kody odpowiedzi. Wizyta oznacza pobranie strony, a nie cytowanie jej ani rekomendację. Identyfikator bota można podrobić, więc liczby te pozostają deklaracjami, dopóki nie zweryfikujesz źródłowych adresów IP.

Jak to działa

Wczytaj log
Wybierz plik tekstowy, CSV lub gzip albo wklej wiersze. Logi Apache i Nginx w formacie combined, wiersze JSON z Caddy, pliki JSON z Cloudflare Logpush oraz logi CloudFront z nagłówkiem #Fields są wykrywane automatycznie. Plik CSV musi zawierać kolumny z identyfikatorem bota, ścieżką, kodem odpowiedzi i znacznikiem czasu. Ich kolejność nie ma znaczenia.
Policz żądania
Znane identyfikatory botów są dopasowywane jako całe tokeny w polu user agent. Każdy operator ma osobne statystyki. Pozostałe znane boty trafiają do grupy Inne boty, a niesklasyfikowane żądania pozostają oddzielnie. Daty są podawane w UTC, a parametry zapytania są usuwane ze ścieżek.
Ogranicz zużycie pamięci
Limit wynosi 250 MiB dla pliku i jego rozpakowanej zawartości, 256 KiB na rekord, 100 000 różnych ścieżek odwiedzanych przez boty, 100 000 różnych par błędu i ścieżki we wszystkich grupach oraz 3660 dni na grupę. Po osiągnięciu limitu analiza zatrzymuje się z błędem. Listy 20 najczęstszych ścieżek i 20 najczęstszych ścieżek z błędami w każdej grupie są dokładne w ramach tych limitów.
Sprawdź tożsamość
Pobierz zapisane w pamięci podręcznej oficjalne listy zakresów adresów, a następnie porównaj źródłowe adresy IP lokalnie. Współdzielone zakresy potwierdzają jedynie deklarację operatora. Brakujące listy, brak adresów IP i nieaktualne kopie są wyraźnie oznaczone. Nie wykonujemy zapytań zwrotnego DNS.

Pytania o logi robotów

Nie. Wpis w logu rejestruje żądanie. Nie pokazuje, co odpowiedział asystent, czy zacytował stronę ani czy użytkownik zobaczył rekomendację.

Google-Extended to znacznik w robots.txt kontrolujący sposób wykorzystania treści, a nie osobny bot wysyłający żądania HTTP. Żądania wysyła Googlebot. Applebot-Extended również kontroluje wykorzystanie pobranych treści i nie wysyła osobnych żądań.

W wybranym okresie mogło nie być wizyt albo twoja sieć CDN mogła odpowiedzieć na żądania, zanim dotarły do serwera. Sprawdź zarówno logi serwerów brzegowych, jak i serwera źródłowego. Brak nagłówka user agent również uniemożliwia klasyfikację.

Niepoprawne rekordy są zliczane, ale pomijane w podsumowaniu. Wykryty format obowiązuje dla całego pliku. Logi w różnych formatach analizuj osobno.

Użyj kolumn user_agent, path, status i timestamp w dowolnej kolejności. Akceptowane są też popularne warianty, takie jak UserAgent, uri, status_code, time oraz nazwy pól Cloudflare. Obsługiwane są pola w cudzysłowach, cudzysłowy ze znakiem ucieczki i pola wielowierszowe.

Powiązane narzędzia

  • Sprawdzanie dostępu robotów AI

    Sprawdź reguły robots.txt, sygnały dotyczące indeksowania i odpowiedzi HTTP. Zobacz, co blokuje dostęp robotom AI, zanim zmienisz reguły swojej strony.

  • Sprawdzanie adresów IP robotów

    Porównaj do 50 adresów IP z opublikowanymi zakresami adresów robotów. Wklej adresy lub fragment logu i sprawdź, do których operatorów pasują.

  • Ruch z odesłań od AI w GA4

    Śledź ruch z odesłań od AI za pomocą filtra źródeł w GA4. Wybierz asystentów, przetestuj wyrażenie regularne na liście źródeł i skopiuj je do raportu.

Sprawdź, czy asystenci wymieniają twoją firmę

Wizyty botów pokazują, że miały dostęp do strony. Bezpłatny test widoczności w AI pokazuje, które firmy asystenci wymieniają w odpowiedziach.

Uruchom bezpłatny test widoczności w AI