Cómo se usa
- Pegue su archivo robots.txt en Archivo robots.txt.
- Escriba la ruta o la dirección completa en Ruta o dirección, y el nombre del rastreador en Nombre del rastreador.
- Lea Permitido para este rastreador, y después la línea de Regla que decide para ver por qué.
Cómo se decide
La herramienta elige primero el grupo. Las líneas user-agent que nombran al rastreador, comparadas sin distinguir mayúsculas, forman un grupo. Si ninguna lo nombra, se usa el grupo de todos los rastreadores (el asterisco) (RFC 9309, sección 2.2.1).
Dentro de ese grupo se compara cada regla cuyo patrón coincida con la dirección desde su primer carácter. Gana el patrón más largo, y una regla de permiso gana en caso de empate (RFC 9309, sección 2.2.2). Si ninguna regla coincide, la dirección está permitida. El propio archivo /robots.txt siempre está permitido.
- Un asterisco (*) en un patrón coincide con cualquier texto, y un signo de dólar ($) al final de un patrón termina la coincidencia.
- Los escapes de letras, cifras y de los caracteres - . _ ~ se decodifican antes de la comparación, así que %7E y ~ son lo mismo.
- Los comentarios empiezan con una almohadilla, y un valor vacío de Allow o Disallow se ignora.
Dónde coinciden Google y la RFC
La página de robots.txt de Google describe las mismas reglas: se usa el grupo con el user agent más específico que coincide, gana la regla más específica según la longitud de su ruta, y en un conflicto gana la regla menos restrictiva. La herramienta sigue la RFC cuando los dos textos difieren en la redacción, y no encuentra ninguna diferencia en estas reglas.
- Google compara la ruta y la consulta. La RFC no dice si la consulta forma parte de la ruta; esta herramienta la compara, como hacen las filas de ejemplo de la página de Google.
- La RFC no dice qué significa un valor vacío. Google lo ignora, y esta herramienta hace lo mismo.
Ejemplo resuelto: tres direcciones en un mismo archivo
El archivo de muestra tiene un grupo para todos los rastreadores y un grupo para Googlebot. Googlebot sigue solo su propio grupo, así que /drafts/ queda bloqueada para él pero no para los demás rastreadores. La tabla muestra el resultado de tres peticiones.
La línea 9 bloquea /private/ para Googlebot. La línea 5 es una regla de permiso más larga que la /private/ bloqueada, así que gana para press-kit.html.
| Dirección | Rastreador | Estado | Regla que decide | Grupo que se aplica |
|---|---|---|---|---|
| /private/page.html | Googlebot | Bloqueado | Línea 9: Disallow: /private/ | Línea 7: User-agent: Googlebot |
| /private/press-kit.html | Bingbot | Permitido | Línea 5: Allow: /private/press-kit.html | Línea 2: User-agent: * |
| /drafts/new.html | Googlebot | Bloqueado | Línea 8: Disallow: /drafts/ | Línea 7: User-agent: Googlebot |
Preguntas frecuentes
¿Esta herramienta comprueba el nombre de host de una dirección completa?
No. Solo se usan la ruta y la consulta. Si el archivo tiene reglas que nombran otro host, esta herramienta no comprueba si se aplican a la dirección que escribió.
¿Por qué el propio archivo robots.txt siempre está permitido?
La RFC 9309 dice que la URI /robots.txt está permitida de forma implícita, así que un rastreador puede leer siempre las reglas. La herramienta sigue esa regla y muestra el resultado como archivo robots.
¿Qué pasa cuando dos reglas coinciden con la misma dirección?
Decide la regla con el patrón más largo, porque es la más específica. Si los dos patrones tienen la misma longitud, decide la regla de permiso.
¿Por qué una regla con valor vacío no tiene efecto?
La gramática de la RFC permite un valor vacío, pero no dice qué significa. La página de Google dice que los rastreadores ignoran una regla sin ruta, y esta herramienta hace lo mismo.
¿Se envía mi archivo a algún servidor?
No. El archivo se lee en su navegador. Nada de lo que pegue se envía a nadie ni se guarda.
¿Un archivo de más de 500 KiB sigue funcionando?
Solo se leen los primeros 500 KiB, como los lee Google. La herramienta lo indica cuando el archivo es más largo, para que pueda ver si una regla del final se ignoraría.
Fuentes
- RFC 9309: Robots Exclusion Protocol (en inglés)
- Google Search Central: cómo interpreta Google la especificación de robots.txt, con sus ejemplos de coincidencia de rutas (en inglés)
- Google Search Central: introducción a robots.txt (en inglés)
Cifras y texto revisados por última vez el martes, 10 de noviembre de 2026.