Générateur de robots.txt pour l’IA

Utilisez ce générateur de robots.txt pour choisir quels robots d’exploration IA peuvent lire votre site. Modifiez un préréglage, puis téléchargez les règles à intégrer à votre fichier existant.

Gratuit et sans inscription. Vos choix sont conservés dans l’URL de cette page pour que vous puissiez les partager.

Préréglage

OAI-SearchBot

OpenAI: Recherche ChatGPT

Claude-SearchBot

Anthropic: Recherche Claude

PerplexityBot

Perplexity: Perplexity

Applebot

Apple: Siri et Spotlight

DuckAssistBot

DuckDuckGo: Réponses de DuckDuckGo

MistralAI-Index

Mistral: Recherche Vibe

Meta-WebIndexer

Meta: Recherche Meta AI

Amzn-SearchBot

Amazon: Recherche Alexa

YouBot

You.com: Réponses de You.com

Robots déclenchés par l’utilisateur

ChatGPT-User

OpenAI: ChatGPT

Claude-User

Anthropic: Claude

Perplexity-User

Perplexity: Perplexity

MistralAI-User

Mistral: Vibe

Amzn-User

Amazon: Alexa

Robots d’entraînement

GPTBot

OpenAI: Futurs modèles OpenAI

ClaudeBot

Anthropic: Futurs modèles Claude

Google-Extended

Google: Entraînement et ancrage de Gemini

Applebot-Extended

Apple: Entraînement d’Apple Intelligence

MistralAI-Training

Mistral: futurs modèles Mistral

Meta-ExternalAgent

Meta: Meta AI

Amazonbot

Amazon: Produits et modèles Amazon

CCBot

Common Crawl: Le jeu de données ouvert utilisé pour entraîner la plupart des modèles

Bytespider

ByteDance: Doubao

cohere-ai

Cohere: Ancienne préférence exprimée dans robots.txt

Googlebot et Bingbot ne figurent pas dans ce fichier. Ils explorent aussi le Web pour Google Search et Bing : votre groupe User-agent: * continue donc de définir leurs règles. Pour exclure vos pages de l’entraînement de Gemini et des sources utilisées pour étayer ses réponses, bloquez Google-Extended.

Facultatif. Un chemin par ligne, dans la limite de 20 lignes. Commencez chaque chemin par / et n’utilisez ni espace ni #. Ces chemins sont inclus dans l’URL partagée.

Vos règles robots.txt pour l’IA

# aigrow.gg/tools/ai-robots-txt

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
Disallow: /

Ajoutez ces règles au fichier robots.txt à la racine de votre site et conservez tout groupe User-agent: * existant.

Vérifiez quels robots votre site autorise actuellement

Nous pouvons aussi configurer pour vous votre fichier robots.txt, vos règles CDN et votre sitemap, selon vos choix, puis les vérifier à nouveau. Découvrir la configuration de l’accès des robots d’IA

Ce générateur gratuit de robots.txt crée des règles pour les robots d’exploration répertoriés dans l’annuaire AIGROW. Par défaut, il autorise les robots de recherche et ceux qui ouvrent une page à la demande, mais bloque les robots d’entraînement. Choisissez un autre préréglage ou modifiez les règles de chaque robot, ajoutez les chemins à exclure, puis copiez ou téléchargez les règles pour votre site.

Comment ça marche

Choisissez un point de départ
Par défaut, les robots de recherche et ceux qui ouvrent une page à la demande sont autorisés, tandis que les robots d’entraînement sont bloqués. Vous pouvez tous les autoriser, tous les bloquer ou régler chacun séparément.
Un groupe pour les mêmes règles
Les robots soumis aux mêmes règles sont réunis dans un groupe comportant plusieurs lignes User-agent. Leurs noms proviennent de l’annuaire des robots d’exploration IA. Googlebot et Bingbot sont exclus, car ils explorent aussi le Web pour Google Search et Bing.
Les chemins s’appliquent à tous les groupes
Un robot nommé dans un groupe n’hérite pas des règles du groupe User-agent: *, comme le précise la RFC 9309. Les chemins Disallow supplémentaires sont ajoutés à chaque groupe IA. Les autres chemins restent accessibles aux robots que vous autorisez.
Conservez le reste de votre fichier
Le générateur ne crée que les groupes IA. Conservez votre groupe User-agent: * et les autres entrées de votre fichier existant, notamment les liens vers les sitemaps. Remplacez les anciens groupes qui nomment ces mêmes robots et reportez les chemins que vous souhaitez continuer à exclure.

Questions sur les robots d’exploration IA

Il crée des groupes User-agent avec des règles Allow ou Disallow pour les robots de l’annuaire des robots d’exploration IA, à l’exception de Googlebot et Bingbot, qui explorent aussi le Web pour Google Search et Bing. Les robots soumis aux mêmes règles partagent un groupe. Vous pouvez copier le texte ou le télécharger sous le nom robots.txt, puis l’ajouter à votre fichier existant.

Ils n’ont ni le même rôle ni le même nom. Les robots de recherche constituent l’index consulté par un assistant. Les robots déclenchés par une demande ouvrent une page lorsqu’une personne le demande. Les robots d’entraînement collectent des pages pour de futurs modèles : vous pouvez donc définir leurs règles séparément.

robots.txt adresse des consignes aux robots d’exploration, comme l’explique la documentation de leurs opérateurs. Le fichier indique les règles que vous leur demandez de suivre.

À la racine de votre site, par exemple https://example.com/robots.txt. Si un fichier s’y trouve déjà, conservez son groupe User-agent: * et ses autres entrées, puis mettez à jour les groupes IA avec les règles générées.

Les assistants IA peuvent-ils lire les pages de votre entreprise ?

Lancez le scan gratuit pour vérifier leur accès et voir ce que les assistants disent de votre entreprise.