Générateur de robots.txt

Utilisez ce générateur de robots.txt pour créer le fichier de l’ensemble de votre site. Partez de la configuration par défaut de WordPress, Shopify, Wix ou Squarespace, puis testez chaque chemin sur le résultat.

Gratuit, sans compte. Le fichier est généré dans votre navigateur et aucune donnée n’est envoyée.

Partir de

Tout robot d’exploration peut demander n’importe quel chemin. Ajoutez ci-dessous les chemins auxquels vous souhaitez bloquer l’accès.

Facultatif. Sert aux lignes de sitemap et au lien vers le testeur robots.txt.

Groupe 1

* désigne tous les robots d’exploration qui ne possèdent pas leur propre groupe. Autres exemples : Googlebot, Bingbot.

Chemins à exclure, un par ligne, par exemple /admin/ ou /*?sort=.

Exceptions au sein d’un chemin exclu, une par ligne.

Facultatif. Google l’ignore. Bing accepte un délai de 1 à 30 secondes.

Adresses complètes. Les lignes de sitemap s’appliquent à tous les robots d’exploration.

Votre fichier robots.txt

Résultat de la relecture par l’analyseur : 1 groupe, 0 règle, 0 ligne de sitemap, 64 octets.

# aigrow.gg/tools/robots-txt-generator

User-agent: *
Disallow:

Tester un chemin

Autorisé Googlebot n’a pas de groupe propre et suit les règles du groupe *. Aucune règle ne correspond à ce chemin : il est donc autorisé.

Le fichier robots.txt se trouve à la racine d’un site et indique aux robots d’exploration quels chemins ils peuvent consulter. Ce générateur écrit les groupes d’agents utilisateurs, les règles Allow et Disallow ainsi que les lignes de sitemap. Il relit ensuite le fichier avec l’analyseur RFC 9309 utilisé par notre testeur robots.txt, pour que vous puissiez tester un chemin avant de le mettre en ligne.

Comment ça marche

Groupes et règles
Chaque groupe désigne un ou plusieurs agents utilisateurs, les chemins qu’ils ne peuvent pas consulter (Disallow) et les exceptions (Allow). Un chemin commence par / ou *, et $ marque la fin d’une URL. Un robot suit le groupe qui le désigne ou, à défaut, le groupe *.
Configurations par défaut des plateformes
Le préréglage WordPress reproduit le fichier généré par WordPress. Les préréglages Shopify, Wix et Squarespace reprennent les fichiers par défaut servis par les sites de ces plateformes en octobre 2026. Sur Shopify, les modifications passent par le modèle de thème robots.txt.liquid. Wix propose un éditeur robots.txt dans ses réglages SEO. Squarespace ne documente aucune méthode pour importer son propre fichier : son préréglage est donc fourni à titre indicatif.
Délai d’exploration
Google ignore Crawl-delay. Bing l’interprète comme un délai de 1 à 30 secondes. Le générateur accepte des nombres entiers de secondes de 1 à 30 et n’ajoute la ligne que dans les groupes où vous définissez ce délai.
Vérifié avant la copie
Le fichier final est relu avec l’analyseur RFC 9309 de notre testeur robots.txt. Si une ligne risque d’être interprétée autrement que prévu ou si le fichier dépasse la limite de 500 KiB de Google, la page vous le signale. Le test de chemin indique quelle ligne détermine l’accès pour un robot donné.

Questions sur robots.txt

Non. Il bloque l’exploration, mais Google peut quand même indexer une URL bloquée, sans son contenu, si d’autres pages pointent vers elle. Pour exclure une page des résultats, autorisez son exploration et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag.

À la racine de l’hôte, par exemple https://example.com/robots.txt. Chaque sous-domaine et chaque protocole nécessite son propre fichier. Un fichier placé dans un dossier est ignoré. Sur Shopify, Wix et Squarespace, la plateforme sert le fichier : les modifications passent donc par ses réglages ou son thème.

Un groupe doit contenir au moins une ligne de règle. Une ligne Disallow vide autorise tous les chemins et empêche les agents utilisateurs du groupe suivant de rejoindre celui-ci.

Google et RFC 9309 retiennent la règle la plus précise, celle dont le chemin est le plus long. Si les règles Allow et Disallow ont la même longueur, Allow l’emporte. Le test de chemin montre la ligne décisive.

Ajoutez un groupe pour chaque robot ou utilisez le générateur de robots.txt pour l’IA, qui classe les robots d’exploration IA selon leur usage et rédige les lignes correspondantes. Ajoutez ces lignes sous vos groupes existants.

Outils associés

  • Testeur robots.txt

    Testez jusqu’à 50 chemins avec le testeur robots.txt. Comparez les règles applicables aux robots de recherche et d’IA, repérez les ressources bloquées et les sitemaps, puis modifiez un brouillon et relancez le test.

  • Générateur de robots.txt pour l’IA

    Utilisez ce générateur de robots.txt pour choisir quels robots d’exploration IA peuvent lire votre site. Modifiez un préréglage, puis téléchargez les règles à intégrer à votre fichier existant.

  • Outil d’analyse SEO

    Utilisez cet outil d’analyse SEO pour auditer jusqu’à 25 pages et repérer les problèmes d’exploration et de référencement sur la page. Consultez les URL concernées et la liste des corrections, ou ajoutez un petit échantillon de pages concurrentes.

Vérifiez comment l’IA parle de votre entreprise

Les pages que les robots peuvent consulter et parcourir constituent la base. Le scan gratuit de visibilité de l’IA montre comment les assistants répondent aux questions sur votre entreprise et quelles améliorations apporter ensuite.

Lancer le scan gratuit de visibilité de l’IA