Hurtige svar

AIGrow tilbyder overvågning af AI-synlighed, en virksomhedsassistent, blogudgivelse og afgrænsede automatiseringstjenester. Start med den gratis scanning for at se resultatet, før du betaler.

Kør den gratis scanning

Scanningen er gratis, og overvågningsplanerne starter ved 29 € om måneden. Driftsauditten koster 290 €, synlighedsauditten koster 490 €, og specialbyggede løsninger får en skriftlig pris, før arbejdet begynder.

Se planerne

Kør den gratis scanning. Den læser dit website, spørger flere AI-assistenter, hvad dine kunder spørger om, og peger på én ting. Du behøver ikke at oprette dig, og den fortæller dig, hvis du ikke har brug for os.

Start nu

Ja. Brug kontaktformularen til spørgsmål om produktet, fakturering, support eller projekter. Beskriv målet og det involverede system, så det første svar kan blive konkret.

Kontakt AIGrow
AI-crawlere

AI-crawlere: Hvad hver bot gør, og hvad det ændrer at blokere den

Crawlerne, der læser websites for AI-assistenter: Hvem der står bag hver enkelt, hvad den leverer data til, og hvilke linjer i robots.txt der tillader eller blokerer den.

Tjek crawlere gratis

AI-crawlere er botter, der læser websites for AI-assistenter. Søgecrawlere som OAI-SearchBot opbygger det indeks, en assistent citerer fra. Crawlere til brugerforespørgsler som ChatGPT-User åbner en side, når nogen beder om det, mens træningscrawlere som GPTBot indsamler sider til fremtidige modeller. Listen omfatter 22 crawlere med robots.txt-regler for hver enkelt.

Tre typer AI-crawlere

Søgning
Søgecrawlere læser sider for at opbygge det indeks, en assistent søger i, når den svarer. Hvis de ikke kan læse en side, kan den hverken findes eller citeres i de svar.
Brugerforespørgsel
Crawlere til brugerforespørgsler åbner en bestemt side, når nogen beder en assistent om at læse den. Hvis de ikke kan læse siden, kan den ikke åbnes i samtalen.
Træning
Træningscrawlere indsamler sider til fremtidige modeller. Hvis du blokerer dem, stopper det ikke de crawlere, der henter sider til svar. De har deres egne navne.

Alle crawlere efter, hvad de leverer data til

Hvert navn er et robots.txt-token. Åbn en crawler for at se dens user agent og regler.

Søgecrawlere

CrawlerAnsvarlig virksomhedHvad den leverer data til
OAI-SearchBotOpenAIChatGPT-søgning
Claude-SearchBotAnthropicClaude-søgning
PerplexityBotPerplexityPerplexity
GooglebotGoogleGoogle Search og AI Overviews
BingbotMicrosoftBing og Copilot
ApplebotAppleSiri og Spotlight
DuckAssistBotDuckDuckGosvar fra DuckDuckGo
AmazonbotAmazonAlexa og Rufus
YouBotYou.comsvar fra You.com

Crawlere til brugerforespørgsler

CrawlerAnsvarlig virksomhedHvad den leverer data til
ChatGPT-UserOpenAIChatGPT
Claude-UserAnthropicClaude
Perplexity-UserPerplexityPerplexity
MistralAI-UserMistralLe Chat
Meta-ExternalFetcherMetaMeta AI

Træningscrawlere

CrawlerAnsvarlig virksomhedHvad den leverer data til
GPTBotOpenAIfremtidige OpenAI-modeller
ClaudeBotAnthropicfremtidige Claude-modeller
Google-ExtendedGoogletræning og grounding af Gemini
Applebot-ExtendedAppletræning af Apple Intelligence
Meta-ExternalAgentMetaMeta AI
CCBotCommon Crawldet åbne datasæt, som de fleste modeller trænes på
BytespiderByteDanceDoubao
cohere-aiCohereCohere-modeller

En skabelon til robots.txt

robots.txt er en almindelig tekstfil i roden af et website (yoursite.com/robots.txt). En gruppe begynder med en eller flere User-agent-linjer, der navngiver crawlere, efterfulgt af Allow- og Disallow-linjer for stier. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står, og ignorerer gruppen for alle crawlere (User-agent: *).

Disse linjer giver adgang til alle crawlere, der henter sider til svar. Træningscrawlerne står efter #-tegn: Du bestemmer selv, om de skal have adgang.

Tilføj disse linjer i robots.txt-filen i websitets rodmappe, og fjern eventuelle grupper, der blokerer disse crawlere. En crawler, der står i sin egen gruppe, følger kun den gruppe. Kopiér derfor de Disallow-linjer, den fortsat skal følge, ind i gruppen.

# Crawlere, der henter sider til svar
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /

# Træningscrawlere: Du bestemmer. Fjern #-tegnene for at give dem adgang.
# User-agent: GPTBot
# User-agent: ClaudeBot
# User-agent: Google-Extended
# User-agent: Applebot-Extended
# User-agent: Meta-ExternalAgent
# User-agent: CCBot
# User-agent: Bytespider
# User-agent: cohere-ai
# Allow: /

Opret en komplet AI-robots.txt

Hvilke af dem giver dit website adgang til?

robots.txt er én måde at afvise en crawler på. En indstilling i dit CDN eller din firewall er en anden, og websitet ser stadig normalt ud i browseren. Det gratis crawlertjek læser din robots.txt og henter din side som hver crawler på få sekunder.

Tjek crawlere gratis

Spørgsmål om AI-crawlere

Begge drives af OpenAI. OAI-SearchBot er en søgecrawler, der læser sider til ChatGPT-søgning. GPTBot er en træningscrawler, der indsamler sider til fremtidige OpenAI-modeller. I robots.txt kan du blokere den ene og tillade den anden.

Tilføj en gruppe med navnet på crawleren, eller navnene på flere crawlere, efterfulgt af “Disallow: /”. En crawler, der er nævnt i en gruppe, følger de grupper, hvor dens navn står. Derfor gælder reglerne for alle crawlere (User-agent: *) ikke længere for den.

Træningscrawlere og crawlere, der henter sider til svar, har forskellige navne. Et website kan blokere træningscrawlerne og stadig give adgang til dem, der henter sider til svar.

Det gratis crawlertjek læser din robots.txt for alle 22 crawlere på listen og henter en side som hver crawler, der har en user agent. Derefter viser det, hvilke der får adgang, og hvilke der bliver afvist.

Kan AI-assistenter læse dit website?

Det gratis crawlertjek giver svar på få sekunder, uden konto og uden e-mailadresse.

Tjek crawlere gratisKør den gratis scanning