Mode d'emploi
- Collez votre fichier robots.txt dans Fichier robots.txt.
- Saisissez le chemin ou l'adresse complète dans Chemin ou adresse, et le nom du robot dans Nom du robot.
- Lisez Autorisé pour ce robot, puis la ligne de Règle qui décide pour voir pourquoi.
Comment la décision est prise
L'outil choisit d'abord le groupe. Les lignes user-agent qui nomment le robot, comparées sans tenir compte de la casse, forment un groupe. Si aucune ne le nomme, on utilise le groupe de tous les robots, celui de l'astérisque (RFC 9309, section 2.2.1).
Dans ce groupe, chaque règle dont le motif correspond à l'adresse dès son premier caractère est comparée. Le motif le plus long l'emporte, et une règle d'autorisation l'emporte à égalité (RFC 9309, section 2.2.2). Si aucune règle ne correspond, l'adresse est autorisée. Le fichier /robots.txt lui-même est toujours autorisé.
- Un astérisque (*) dans un motif correspond à n'importe quel texte, et un signe dollar ($) à la fin d'un motif termine la correspondance.
- Les échappements des lettres, des chiffres et des caractères - . _ ~ sont décodés avant la comparaison, si bien que %7E et ~ sont identiques.
- Les commentaires commencent par un dièse, et une valeur vide d'Allow ou de Disallow est ignorée.
Là où Google et la RFC concordent
La page robots.txt de Google décrit les mêmes règles : on utilise le groupe au user-agent le plus précis qui correspond, la règle la plus précise d'après la longueur de son chemin l'emporte, et la règle la moins restrictive l'emporte en cas de conflit. L'outil suit la RFC là où les deux textes diffèrent par la formulation, et il ne trouve aucune différence sur ces règles.
- Google compare le chemin et la requête. La RFC ne dit pas si la requête fait partie du chemin ; cet outil la compare, comme le font les exemples de la page de Google.
- La RFC ne dit pas ce que signifie une valeur vide. Google l'ignore, et cet outil fait de même.
Exemple résolu : trois adresses sur un même fichier
Le fichier par défaut a un groupe pour tous les robots et un groupe pour Googlebot. Googlebot ne suit que son propre groupe, si bien que /drafts/ est bloqué pour lui mais pas pour les autres robots. Le tableau montre le résultat pour trois demandes.
La ligne 9 bloque /private/ pour Googlebot. La ligne 5 est une règle d'autorisation plus longue que le /private/ interdit, si bien qu'elle l'emporte pour press-kit.html.
| Adresse | Robot | Statut | Règle qui décide | Groupe qui s'applique |
|---|---|---|---|---|
| /private/page.html | Googlebot | Bloqué | Ligne 9 : Disallow: /private/ | Ligne 7 : User-agent: Googlebot |
| /private/press-kit.html | Bingbot | Autorisé | Ligne 5 : Allow: /private/press-kit.html | Ligne 2 : User-agent: * |
| /drafts/new.html | Googlebot | Bloqué | Ligne 8 : Disallow: /drafts/ | Ligne 7 : User-agent: Googlebot |
Questions fréquentes
Cet outil vérifie-t-il le nom d'hôte d'une adresse complète ?
Non. Seuls le chemin et la requête sont utilisés. Si le fichier contient des règles qui nomment un autre hôte, l'outil ne vérifie pas si elles s'appliquent à l'adresse saisie.
Pourquoi le fichier robots.txt lui-même est-il toujours autorisé ?
La RFC 9309 dit que l'URI /robots.txt est implicitement autorisée, afin qu'un robot puisse toujours lire les règles. L'outil suit cette règle et affiche le résultat comme celui du fichier robots.
Que se passe-t-il quand deux règles correspondent à la même adresse ?
La règle au motif le plus long décide, car elle est la plus précise. Si les deux motifs ont la même longueur, la règle d'autorisation décide.
Pourquoi une règle à valeur vide n'a-t-elle aucun effet ?
La grammaire de la RFC autorise une valeur vide, mais ne dit pas ce qu'elle signifie. La page de Google indique que les robots ignorent une règle sans chemin, et cet outil fait de même.
Mon fichier est-il envoyé à un serveur ?
Non. Le fichier est lu dans votre navigateur. Rien de ce que vous collez n'est envoyé ni conservé.
Un fichier de plus de 500 Kio fonctionne-t-il encore ?
Seuls les 500 premiers Kio sont lus, comme le fait Google. L'outil le signale quand le fichier est plus long, pour que vous voyiez si une règle en fin de fichier serait ignorée.
Sources
- RFC 9309 (en anglais) : Robots Exclusion Protocol
- Google Search Central (en anglais) : comment Google interprète la spécification robots.txt, avec ses exemples de correspondance des chemins
- Google Search Central (en anglais) : introduction à robots.txt
Chiffres et texte vérifiés pour la dernière fois le mardi 10 novembre 2026.