Tjek af crawleres IP-adresser
Sammenlign op til 50 adresser med offentliggjorte IP-intervaller for bots. Indsæt IP-adresser eller et uddrag af en log, og se, hvilke operatører adresserne matcher.
Et tjek af crawleres IP-adresser sammenligner en forespørgsels adresse med IP-intervaller, som crawlerens operatør har offentliggjort. Indsæt op til 50 adresser eller et uddrag af en log for at tjekke både IPv4 og IPv6. Et match viser, at adressen ligger i et offentliggjort IP-interval, ikke hvilken bot der står bag, eller hvad den vil. Se på kilden og opdateringsdatoen, før du stoler på resultatet.
Begrænsninger i dækning og verificering
Dokumentation gennemgået den 11. oktober 2026. Værktøjet foretager ikke omvendte DNS-opslag på dine IP-adresser.
- Meta
- Meta dokumenterer sine crawler-user agents og indstillinger i robots.txt. Her er der ikke adgang til en fuldstændig officiel liste over adresser. En Meta-user agent er ikke i sig selv nok til at bekræfte en forespørgsel. Dokumentation fra operatørerne
- ByteDance
- Den officielle Bytespider-side angiver ti IPv4-intervaller og vejledning om omvendt DNS. Denne kontrol henter ikke listen, som gengives med JavaScript, så det kan ikke bekræftes, om en adresse tilhører Bytespider. IP-lister fra tredjeparter er udeladt. Dokumentation fra operatørerne
- Amazon
- Amazon offentliggør separate adresselister for Amazonbot, Amzn-SearchBot og Amzn-User. Denne kontrol læser de fuldstændige JSON-blokke på de officielle HTML-sider. Enkeltadresser matches som intervaller for enkeltværter. Dokumentation fra operatørerne
- Mistral AI
- Den gennemgåede dokumentation linker til IP-lister for MistralAI-User og MistralAI-Index. Den linker ikke til en særskilt liste for MistralAI-Training. Anmodninger til træning er derfor ikke dækket. Dokumentation fra operatørerne
- Majestic
- Majestic beskriver en distribueret crawler uden sammenhængende IP-blokke. Brug user-agenten MJ12bot og styring via robots.txt. Dette værktøj kan ikke bekræfte en IP-adresse ud fra navnet. Dokumentation fra operatørerne
- Google beskriver omvendt DNS-opslag med kategorispecifikke værtsnavne på googlebot.com, google.com eller googleusercontent.com, efterfulgt af et almindeligt DNS-opslag, der returnerer den oprindelige IP-adresse. Cloudbaserede hentere, som henter indhold på brugeres vegne, drives ikke nødvendigvis af Google. Dokumentation fra operatørerne
- Apple
- Apple beskriver omvendt DNS-opslag, der giver et værtsnavn, som slutter på applebot.apple.com. Kontrollér, at værtsnavnet peger tilbage på den oprindelige adresse, før du stoler på det. Dokumentation fra operatørerne
- Common Crawl
- Common Crawl offentliggør en IP-fil for CCBot. Ifølge dokumentationen bruges omvendt DNS-opslag til crawl.commoncrawl.org for IPv4, bekræftet med et almindeligt DNS-opslag, mens deres IPv6-adresser ikke har omvendte DNS-poster. Dokumentation fra operatørerne
Sådan fungerer værktøjet
- Brug den oprindelige forbindelses IP-adresse
- Indsæt én adresse pr. linje eller et kort uddrag af en log. Tjek, at dine logge registrerer den faktiske forbindelses IP-adresse eller en videresendt adresse fra en proxy, du har tillid til. Værktøjet finder gyldige adresser og tjekker højst 50 forskellige IP-adresser.
- Se, hvilket IP-interval adressen matcher
- Serveren læser officielle filer med IP-intervaller og gemmer dem i en cache i 24 timer. Hvis en opdatering mislykkes, bruges den seneste komplette kopi, som markeres som forældet. IP-intervaller på delt infrastruktur kan ikke identificere en bestemt crawler. Manglende match kan også skyldes ufuldstændig dækning.
- Undersøg forespørgslen nærmere
- Sammenlign den angivne user-agent med den operatør, adressen matcher, og operatørens dokumentation. Hvor det er beskrevet i dokumentationen, kan et omvendt DNS-opslag efterfulgt af et almindeligt DNS-opslag give mere dokumentation. Dette værktøj foretager ikke omvendte DNS-opslag på dine adresser.
Før du går i gang
Se, hvad assistenter kan finde
Crawleres adgang er én del af AI-synlighed. Kør en gratis scanning for at se, hvordan assistenter beskriver din virksomhed, og hvilke kilder de henviser til.