robots.txt-generator for KI
Velg hvilke KI-crawlere som kan lese nettstedet ditt. Start med et forhåndsoppsett, juster hver enkelt crawler, og last ned KI-delen av robots.txt-filen din. Gratis, uten at du trenger konto.
Gratis og uten registrering. Valgene dine lagres i sidens URL, slik at du kan dele dem.
Reglene dine for KI-roboter i robots.txt
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Legg disse reglene i robots.txt i rotmappen på nettstedet ditt, og behold en eventuell eksisterende User-agent: *-gruppe.
Denne gratis robots.txt-generatoren for KI skriver regler for crawlerne i AIGrows oversikt. Som standard slipper den inn søkecrawlere og crawlere som henter sider på forespørsel, men blokkerer crawlere som samler inn treningsdata. Velg et annet forhåndsoppsett eller juster crawlerne enkeltvis, legg til stier du vil utelukke, og kopier eller last ned reglene til nettstedet ditt.
Slik fungerer det
- Velg et utgangspunkt
- Standardoppsettet tillater søkecrawlere og crawlere som åpner en side på forespørsel, men blokkerer crawlere som samler inn treningsdata. Du kan tillate alle, blokkere alle eller justere hver crawler for seg.
- Samme regler i én gruppe
- Crawlere med like regler samles i én gruppe med flere User-agent-linjer. Navnene er hentet fra oversikten over KI-crawlere. Googlebot og Bingbot er utelatt fordi de også gjennomsøker sider for Google Search og Bing.
- Stiene gjelder for alle grupper
- En crawler som er oppført i en gruppe, arver ikke reglene fra User-agent: *-gruppen, slik det er beskrevet i RFC 9309. Ekstra Disallow-stier legges til i alle KI-gruppene. Andre stier forblir tilgjengelige for crawlerne du tillater.
- Behold resten av filen
- Generatoren skriver bare KI-gruppene. Behold den eksisterende User-agent: *-gruppen og andre oppføringer, inkludert lenker til nettstedskart. Erstatt gamle grupper som oppgir de samme crawlerne, og ta med stiene du fortsatt vil utelukke.
Spørsmål om KI-crawlere
Kan KI-assistenter lese sidene om bedriften din?
Kjør gratisskanningen for å sjekke tilgangen og se hva assistentene sier om bedriften din.