AI robots.txt-generator

Vælg, hvilke AI-crawlere der må læse dit website. Tilpas en skabelon, og download AI-reglerne, så du kan føje dem til din eksisterende robots.txt-fil.

Gratis og uden tilmelding. Dine valg gemmes i sidens URL, så du kan dele dem.

Forudindstilling

OAI-SearchBot

OpenAI: ChatGPT-søgning

Claude-SearchBot

Anthropic: Claude-søgning

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri og Spotlight

DuckAssistBot

DuckDuckGo: Svar fra DuckDuckGo

MistralAI-Index

Mistral: Vibe search

Meta-WebIndexer

Meta: Meta AI-søgning

Amzn-SearchBot

Amazon: Alexa-søgning

YouBot

You.com: Svar fra You.com

Crawlere til brugerforespørgsler

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Træningscrawlere

GPTBot

OpenAI: fremtidige OpenAI-modeller

ClaudeBot

Anthropic: fremtidige Claude-modeller

Google-Extended

Google: Træning og grounding af Gemini

Applebot-Extended

Apple: Træning af Apple Intelligence

MistralAI-Training

Mistral: fremtidige Mistral-modeller

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Amazon-produkter og -modeller

CCBot

Common Crawl: det åbne datasæt, som de fleste modeller trænes på

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: ældre robots.txt-præference

Googlebot og Bingbot er ikke med i filen. De crawler også til Google Search og Bing, så gruppen User-agent: * afgør stadig, om de har adgang. Bloker Google-Extended for at holde dine sider ude af Gemini-træning og forhindre, at de bruges som grundlag for Gemini-svar.

Valgfrit. Én sti pr. linje, højst 20 linjer. Begynd hver sti med /, og brug ikke mellemrum eller #. Stierne kommer med i den delte URL.

Dine AI-regler i robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Indsæt disse regler i robots.txt i roden af dit website, og behold en eventuel eksisterende gruppe med User-agent: *.

Se, hvilke crawlere dit website giver adgang nu

Vi kan også indstille robots.txt, dine CDN-regler og dit sitemap for dig, som du vælger, og tjekke dem igen bagefter. Se opsætningen af AI-crawleradgang

Denne gratis AI robots.txt-generator skriver regler for crawlerne i AIGROWs oversigt over AI-crawlere. Som udgangspunkt tillader den søgecrawlere og crawlere, der åbner sider på brugerens anmodning, men blokerer træningscrawlere. Vælg en anden skabelon, eller ændr reglerne for hver enkelt crawler. Tilføj stier, der skal udelukkes, og kopiér eller download derefter reglerne til dit website.

Sådan fungerer det

Vælg et udgangspunkt
Standardindstillingen tillader søgecrawlere og crawlere, der åbner sider på brugerens anmodning, men blokerer træningscrawlere. Du kan tillade alle crawlere, blokere dem alle eller ændre reglerne for hver enkelt.
Samme regler i én gruppe
Crawlere med samme regler samles i en gruppe med flere User-agent-linjer. Navnene kommer fra oversigten over AI-crawlere. Googlebot og Bingbot er udeladt, fordi de også crawler for Google Search og Bing.
Stierne gælder for alle grupper
En crawler, der er nævnt i en gruppe, arver ikke reglerne fra gruppen User-agent: *, som beskrevet i RFC 9309. Ekstra Disallow-stier føjes derfor til alle AI-grupper. De crawlere, du tillader, har fortsat adgang til andre stier.
Behold resten af din fil
Generatoren skriver kun AI-grupperne. Behold din eksisterende User-agent: *-gruppe og andre poster, herunder links til sitemaps. Erstat gamle grupper, der nævner de samme crawlere, og overfør de stier, du fortsat vil udelukke.

Spørgsmål om AI-crawlere

Den skriver User-agent-grupper med Allow- eller Disallow-regler for crawlerne i oversigten over AI-crawlere. Googlebot og Bingbot er undtaget, fordi de også crawler for Google Search og Bing. Crawlere med samme regler samles i én gruppe. Du kan kopiere teksten eller downloade den som robots.txt og derefter føje den til din eksisterende fil.

De har forskellige opgaver og navne. Søgecrawlere opbygger det indeks, en assistent søger i. Crawlere til brugerforespørgsler åbner en side, når nogen beder om det. Træningscrawlere indsamler sider til fremtidige modeller, så du kan vælge særskilte regler for dem.

robots.txt er en anmodning til crawlere, som beskrevet i operatørernes dokumentation. Filen angiver de regler, du beder dem følge.

Den skal ligge i roden af dit website, for eksempel på https://example.com/robots.txt. Hvis du allerede har en fil der, skal du beholde dens User-agent: *-gruppe og andre poster og opdatere AI-grupperne med de genererede regler.

Kan AI-assistenter læse siderne om din virksomhed?

Kør den gratis scanning for at tjekke adgangen og se, hvad assistenterne siger om din virksomhed.