robots.txt-generator for KI-crawlere
Bruk denne robots.txt-generatoren til å velge hvilke KI-crawlere som kan lese nettstedet ditt. Tilpass et forhåndsvalg og last ned KI-reglene for å legge dem til i den eksisterende filen.
Gratis og uten registrering. Valgene dine lagres i sidens URL, slik at du kan dele dem.

Reglene dine for KI-roboter i robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Legg disse reglene i robots.txt i rotmappen på nettstedet ditt, og behold en eventuell eksisterende User-agent: *-gruppe.
Sjekk hvilke roboter nettstedet ditt slipper inn nå
Vi kan også sette opp robots.txt, CDN-reglene og nettstedskartet for deg, slik du velger, og kontrollere dem på nytt etterpå. Se oppsettet av tilgang for KI-crawlere
Denne gratis robots.txt-generatoren lager regler for crawlerne i AIGROW-oversikten. Som standard slipper den inn søkecrawlere og crawlere som henter sider på forespørsel, men blokkerer treningscrawlere. Velg et annet forhåndsvalg eller endre reglene for hver enkelt crawler, legg til stier som skal utelukkes, og kopier eller last ned reglene til nettstedet ditt.
Slik fungerer det
- Velg et utgangspunkt
- Standardvalget tillater søkecrawlere og crawlere som åpner sider på forespørsel, men blokkerer treningscrawlere. Du kan tillate alle, blokkere alle eller endre reglene for hver enkelt crawler.
- Én gruppe for like regler
- Crawlere med like regler samles i én gruppe med flere User-agent-linjer. Navnene kommer fra oversikten over KI-crawlere. Googlebot og Bingbot er utelatt fordi de også gjennomsøker nettet for Google Search og Bing.
- Stiene gjelder for alle grupper
- En crawler som er oppført i en gruppe, arver ikke reglene fra gruppen User-agent: *, slik RFC 9309 beskriver. Ekstra Disallow-stier legges til i alle KI-grupper. Andre stier forblir tillatt for crawlerne du slipper inn.
- Behold resten av filen
- Generatoren lager bare KI-gruppene. Behold den eksisterende User-agent: *-gruppen og andre oppføringer, inkludert lenker til nettstedskart. Erstatt eventuelle gamle grupper som oppgir de samme crawlerne, og ta med stiene du fortsatt vil utelukke.
Spørsmål om KI-crawlere
Kan KI-assistenter lese sidene om bedriften din?
Kjør gratisskanningen for å sjekke tilgangen og se hva assistentene sier om bedriften din.