Générateur robots.txt : bloquer les IA et plans du site

Mode d'emploi

Choisissez le Réglage par défaut pour tous les robots et saisissez les chemins interdits, un par ligne.
Ajoutez les chemins autorisés pour les dossiers qui doivent rester ouverts dans une zone bloquée, et saisissez vos adresses de plans du site.
Choisissez quoi faire des Robots IA : ne pas ajouter de groupe, les bloquer tous, ou les autoriser tous.
Copiez le fichier ou téléchargez-le, puis enregistrez-le sous robots.txt dans le dossier racine de votre site.

Comment un robot lit le fichier

Un robot obéit au groupe dont la ligne user-agent le nomme. Si aucun groupe ne le nomme, il obéit au groupe qui commence par un astérisque, lequel s'applique à tous les robots (RFC 9309, section 2.2.1). La page robots.txt de Google indique qu'on utilise le groupe au user-agent le plus précis qui correspond au robot, et que les autres groupes sont ignorés.

Lorsqu'un chemin interdit et un chemin autorisé correspondent tous deux à une adresse, le plus long l'emporte. S'ils ont la même longueur, le chemin autorisé l'emporte (RFC 9309, section 2.2.2). Google indique qu'il utilise dans ce cas la règle la moins restrictive.

Google exige que le fichier se trouve dans le répertoire racine du site, et son nom doit être robots.txt.
Google ignore les lignes qu'il ne comprend pas et ne lit que 500 kibioctets au plus du fichier.

Les robots IA de cet outil

Chaque jeton ci-dessous est le nom que son exploitant donne dans sa propre documentation, sauf Bytespider, pour lequel aucune page officielle n'a été trouvée. Les finalités sont celles que donnent les exploitants.

Jeton	Exploitant et finalité	Page de l'exploitant
GPTBot	OpenAI : explore les contenus qui peuvent servir à l'entraînement de ses modèles fondamentaux d'IA générative	Page des robots d'OpenAI
ClaudeBot	Anthropic : collecte les contenus web qui peuvent contribuer à l'entraînement	Page d'aide sur les robots d'Anthropic
Google-Extended	Google : contrôle si les contenus explorés peuvent servir au développement de modèles d'IA ; il n'affecte ni l'inclusion dans la recherche ni le classement	Documentation des robots de Google
PerplexityBot	Perplexity : fait apparaître et relie des sites dans ses résultats de recherche, et n'explore pas les contenus pour les modèles fondamentaux d'IA	Guide des robots de Perplexity
CCBot	Common Crawl : constitue un dépôt ouvert de données d'exploration du web ; robots.txt est le moyen de se retirer	Page CCBot de Common Crawl
Applebot-Extended	Apple : contrôle si les contenus peuvent servir à l'entraînement des modèles fondamentaux d'Apple	Page « À propos d'Applebot » d'Apple
Bytespider	ByteDance : non confirmé, car aucune page officielle de robot n'a été trouvée	Aucune trouvée
meta-externalagent	Meta : entraînement de modèles fondamentaux d'IA ou indexation directe des contenus	Page des robots web de Meta

Ce que robots.txt ne fait pas

Il n'empêche pas une page d'être exclue de Google. L'introduction de Google indique que robots.txt n'est pas un moyen de tenir une page hors de Google ; utilisez pour cela une règle noindex ou une protection par mot de passe.
Il n'arrête pas un robot qui choisit de l'ignorer. Il demande seulement aux robots de se tenir à l'écart des chemins qui y sont nommés.
Google ignore Crawl-delay : le délai d'exploration réglé ici n'a donc aucun effet sur Google.

Exemple résolu : une boutique qui bloque les robots IA

Les réglages par défaut autorisent tous les robots, ferment /admin/, /checkout/ et toute adresse avec un paramètre de tri, et gardent /admin/help/ ouvert, car ce chemin autorisé est plus long que le /admin/ interdit. Les robots IA sont bloqués, et les deux plans du site sont listés à la fin.

Le tableau montre quelle ligne du fichier décide pour trois adresses.

Robot	Adresse	Règle qui décide
Googlebot, qui n'a pas de groupe à lui	/admin/login	Disallow: /admin/
Googlebot, qui n'a pas de groupe à lui	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Questions fréquentes

robots.txt empêche-t-il une page d'apparaître dans les résultats de Google ?

Non. L'introduction de Google à robots.txt indique que le fichier n'est pas un moyen de tenir une page hors de Google. Pour cela, utilisez une règle noindex ou une protection par mot de passe.

Pourquoi chaque groupe IA répète-t-il les chemins interdits ?

Un robot ne lit que le groupe qui le nomme, et le groupe de tous les robots est ignoré pour lui. Le réglage d'autorisation répète donc vos chemins interdits sous sa propre ligne Allow: /, si bien que ces chemins restent fermés au robot IA.

Google suit-il la ligne Crawl-delay ?

Non. La page robots.txt de Google indique que d'autres champs comme crawl-delay ne sont pas pris en charge. Anthropic dit que ses robots prennent en charge l'extension Crawl-delay, qui n'est pas standard.

Bloquer Google-Extended affecte-t-il mon classement dans Google Search ?

Non. La documentation des robots de Google indique que Google-Extended n'a pas d'effet sur l'inclusion d'un site dans Google Search, et qu'il n'est pas utilisé comme signal de classement.

L'exploitant confirme-t-il le jeton Bytespider ?

Non. Lors de la vérification de cet outil, aucune page de robot de ByteDance n'a été trouvée : le jeton vient donc de sites tiers. Cherchez les requêtes portant ce nom dans vos journaux de serveur avant de vous fier à la règle.

Où placer le fichier ?

Dans le dossier racine du site, pour qu'il s'ouvre à l'adresse racine sous le nom robots.txt. La page de Google indique que le fichier doit être placé dans le répertoire racine du site.

L'outil garde-t-il ce que vous saisissez ou l'envoie-t-il à un serveur ?

Non. Le fichier est écrit dans votre navigateur. Rien de ce que vous saisissez n'est envoyé ni conservé.

Sources

Chiffres et texte vérifiés pour la dernière fois le mardi 10 novembre 2026.

Résultat