robots.txt-generator for KI-crawlere

Bruk denne robots.txt-generatoren til å velge hvilke KI-crawlere som kan lese nettstedet ditt. Tilpass et forhåndsvalg og last ned KI-reglene for å legge dem til i den eksisterende filen.

Gratis og uten registrering. Valgene dine lagres i sidens URL, slik at du kan dele dem.

Forhåndsvalg

OAI-SearchBot

OpenAI: ChatGPT-søk

Claude-SearchBot

Anthropic: Claude-søk

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri og Spotlight

DuckAssistBot

DuckDuckGo: Svar fra DuckDuckGo

MistralAI-Index

Mistral: Vibe-søk

Meta-WebIndexer

Meta: Meta AI-søk

Amzn-SearchBot

Amazon: Alexa-søk

YouBot

You.com: Svar fra You.com

Roboter for brukerforespørsler

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Treningsroboter

GPTBot

OpenAI: fremtidige OpenAI-modeller

ClaudeBot

Anthropic: fremtidige Claude-modeller

Google-Extended

Google: Gemini-trening og faktagrunnlag

Applebot-Extended

Apple: Trening av Apple Intelligence

MistralAI-Training

Mistral: fremtidige Mistral-modeller

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Amazon-produkter og -modeller

CCBot

Common Crawl: det åpne datasettet som de fleste modeller trenes på

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: tidligere preferanse i robots.txt

Googlebot og Bingbot er ikke med i filen. De henter også inn sider for Google Search og Bing, så gruppen User-agent: * styrer fortsatt tilgangen deres. Blokker Google-Extended for å holde sidene dine utenfor trening og kildeinnhenting for Gemini.

Valgfritt. Én sti per linje, opptil 20 linjer. Start hver sti med /, og ikke bruk mellomrom eller #. Stiene tas med i URL-en du deler.

Reglene dine for KI-roboter i robots.txt

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Legg disse reglene i robots.txt i rotmappen på nettstedet ditt, og behold en eventuell eksisterende User-agent: *-gruppe.

Sjekk hvilke roboter nettstedet ditt slipper inn nå

Vi kan også sette opp robots.txt, CDN-reglene og nettstedskartet for deg, slik du velger, og kontrollere dem på nytt etterpå. Se oppsettet av tilgang for KI-crawlere

Denne gratis robots.txt-generatoren lager regler for crawlerne i AIGROW-oversikten. Som standard slipper den inn søkecrawlere og crawlere som henter sider på forespørsel, men blokkerer treningscrawlere. Velg et annet forhåndsvalg eller endre reglene for hver enkelt crawler, legg til stier som skal utelukkes, og kopier eller last ned reglene til nettstedet ditt.

Slik fungerer det

Velg et utgangspunkt
Standardvalget tillater søkecrawlere og crawlere som åpner sider på forespørsel, men blokkerer treningscrawlere. Du kan tillate alle, blokkere alle eller endre reglene for hver enkelt crawler.
Én gruppe for like regler
Crawlere med like regler samles i én gruppe med flere User-agent-linjer. Navnene kommer fra oversikten over KI-crawlere. Googlebot og Bingbot er utelatt fordi de også gjennomsøker nettet for Google Search og Bing.
Stiene gjelder for alle grupper
En crawler som er oppført i en gruppe, arver ikke reglene fra gruppen User-agent: *, slik RFC 9309 beskriver. Ekstra Disallow-stier legges til i alle KI-grupper. Andre stier forblir tillatt for crawlerne du slipper inn.
Behold resten av filen
Generatoren lager bare KI-gruppene. Behold den eksisterende User-agent: *-gruppen og andre oppføringer, inkludert lenker til nettstedskart. Erstatt eventuelle gamle grupper som oppgir de samme crawlerne, og ta med stiene du fortsatt vil utelukke.

Spørsmål om KI-crawlere

Den lager User-agent-grupper med Allow- eller Disallow-regler for crawlerne i oversikten over KI-crawlere. Googlebot og Bingbot er unntatt fordi de også gjennomsøker nettet for Google Search og Bing. Crawlere med like regler samles i én gruppe. Du kan kopiere teksten eller laste den ned som robots.txt og deretter legge den til i den eksisterende filen.

De har ulike oppgaver og navn. Søkecrawlere bygger indeksen en assistent søker i. Crawlere som henter sider på forespørsel, åpner en side når noen spør. Treningscrawlere samler inn sider til fremtidige modeller, så du kan velge egne regler for dem.

robots.txt er en anmodning til crawlere, slik operatørene beskriver i dokumentasjonen sin. Filen angir reglene du ber dem følge.

Den skal ligge i roten av nettstedet ditt, for eksempel på https://example.com/robots.txt. Hvis du allerede har en fil der, beholder du User-agent: *-gruppen og de andre oppføringene og oppdaterer KI-gruppene med reglene som er generert.

Kan KI-assistenter lese sidene om bedriften din?

Kjør gratisskanningen for å sjekke tilgangen og se hva assistentene sier om bedriften din.