Générateur de robots.txt pour l’IA
Utilisez ce générateur de robots.txt pour choisir quels robots d’exploration IA peuvent lire votre site. Modifiez un préréglage, puis téléchargez les règles à intégrer à votre fichier existant.
Gratuit et sans inscription. Vos choix sont conservés dans l’URL de cette page pour que vous puissiez les partager.

Vos règles robots.txt pour l’IA
# aigrow.gg/tools/ai-robots-txt
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /
Ajoutez ces règles au fichier robots.txt à la racine de votre site et conservez tout groupe User-agent: * existant.
Vérifiez quels robots votre site autorise actuellement
Nous pouvons aussi configurer pour vous votre fichier robots.txt, vos règles CDN et votre sitemap, selon vos choix, puis les vérifier à nouveau. Découvrir la configuration de l’accès des robots d’IA
Ce générateur gratuit de robots.txt crée des règles pour les robots d’exploration répertoriés dans l’annuaire AIGROW. Par défaut, il autorise les robots de recherche et ceux qui ouvrent une page à la demande, mais bloque les robots d’entraînement. Choisissez un autre préréglage ou modifiez les règles de chaque robot, ajoutez les chemins à exclure, puis copiez ou téléchargez les règles pour votre site.
Comment ça marche
- Choisissez un point de départ
- Par défaut, les robots de recherche et ceux qui ouvrent une page à la demande sont autorisés, tandis que les robots d’entraînement sont bloqués. Vous pouvez tous les autoriser, tous les bloquer ou régler chacun séparément.
- Un groupe pour les mêmes règles
- Les robots soumis aux mêmes règles sont réunis dans un groupe comportant plusieurs lignes User-agent. Leurs noms proviennent de l’annuaire des robots d’exploration IA. Googlebot et Bingbot sont exclus, car ils explorent aussi le Web pour Google Search et Bing.
- Les chemins s’appliquent à tous les groupes
- Un robot nommé dans un groupe n’hérite pas des règles du groupe User-agent: *, comme le précise la RFC 9309. Les chemins Disallow supplémentaires sont ajoutés à chaque groupe IA. Les autres chemins restent accessibles aux robots que vous autorisez.
- Conservez le reste de votre fichier
- Le générateur ne crée que les groupes IA. Conservez votre groupe User-agent: * et les autres entrées de votre fichier existant, notamment les liens vers les sitemaps. Remplacez les anciens groupes qui nomment ces mêmes robots et reportez les chemins que vous souhaitez continuer à exclure.
Questions sur les robots d’exploration IA
Les assistants IA peuvent-ils lire les pages de votre entreprise ?
Lancez le scan gratuit pour vérifier leur accès et voir ce que les assistants disent de votre entreprise.