Generador de robots.txt: rastreadores de IA y sitemap

Cómo se usa

Elija el Valor por defecto para todos los rastreadores y escriba las rutas bloqueadas, una por línea.
Añada rutas permitidas para las carpetas que deben seguir abiertas dentro de una zona bloqueada, e introduzca las direcciones de sus sitemaps.
Elija qué hacer con los Rastreadores de IA: no añadir grupo, bloquear a todos o permitir a todos.
Copie el archivo o descárguelo, y guárdelo como robots.txt en la carpeta principal de su sitio.

Cómo lee un rastreador el archivo

Un rastreador obedece al grupo cuya línea user-agent lo nombra. Si ningún grupo lo nombra, obedece al grupo que empieza con un asterisco, que se aplica a todos los rastreadores (RFC 9309, sección 2.2.1). La página de robots.txt de Google dice que se usa el grupo con el user agent más específico que coincide con el rastreador, y que los demás grupos se ignoran.

Cuando una ruta bloqueada y una permitida coinciden con una dirección, gana la ruta más larga. Si tienen la misma longitud, gana la permitida (RFC 9309, sección 2.2.2). Google dice que en ese caso usa la regla menos restrictiva.

Google exige que el archivo esté en el directorio de nivel superior del sitio, y que se llame robots.txt.
Google ignora las líneas que no entiende y lee como máximo 500 kibibytes del archivo.

Los rastreadores de IA de esta herramienta

Cada token de abajo es el nombre que da su operador en su propia documentación, salvo Bytespider, para el que no se encontró ninguna página oficial. Los fines son los que describen los operadores.

Token	Operador y finalidad	Página del operador
GPTBot	OpenAI: rastrea contenido que puede usarse para entrenar sus modelos fundacionales de IA generativa	Página de bots de OpenAI
ClaudeBot	Anthropic: recoge contenido web que podría contribuir al entrenamiento	Página de ayuda de rastreadores de Anthropic
Google-Extended	Google: controla si el contenido rastreado puede usarse para desarrollar modelos de IA; no afecta a la inclusión ni al posicionamiento en la Búsqueda	Documentación de rastreadores de Google
PerplexityBot	Perplexity: muestra y enlaza sitios en sus resultados de búsqueda, y no se usa para rastrear contenido para sus modelos fundacionales	Guía de bots de Perplexity
CCBot	Common Crawl: crea un repositorio abierto de datos de rastreo web; robots.txt es la forma de excluirse	Página de CCBot de Common Crawl
Applebot-Extended	Apple: controla si el contenido puede usarse para entrenar sus modelos fundacionales	Página Acerca de Applebot de Apple
Bytespider	ByteDance: no confirmado, porque no se encontró ninguna página oficial del rastreador	Ninguna encontrada
meta-externalagent	Meta: entrenamiento de modelos fundacionales de IA o indexación directa de contenido	Página de rastreadores web de Meta

Lo que robots.txt no hace

No aparta una página de Google. La introducción de Google a robots.txt dice que no es un mecanismo para mantener una página web fuera de Google; para eso use una regla noindex o una protección con contraseña.
No detiene a un rastreador que decida ignorarlo. Solo pide a los rastreadores que se mantengan lejos de las rutas que nombra.
Google ignora Crawl-delay, así que el retardo de rastreo que fije aquí no tiene efecto en Google.

Ejemplo resuelto: una tienda que bloquea a los rastreadores de IA

Los valores por defecto permiten a todos los rastreadores, cierran /admin/, /checkout/ y cada dirección con un parámetro de orden, y mantienen abierta /admin/help/, porque esa ruta permitida es más larga que la bloqueada /admin/. Los rastreadores de IA están bloqueados, y los dos sitemaps aparecen al final.

La tabla muestra qué línea del archivo decide para tres direcciones.

Rastreador	Dirección	Regla que decide
Googlebot, que no tiene grupo propio	/admin/login	Disallow: /admin/
Googlebot, que no tiene grupo propio	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Preguntas frecuentes

¿robots.txt impide que una página aparezca en los resultados de Google?

No. La introducción de Google a robots.txt dice que el archivo no es un mecanismo para mantener una página web fuera de Google. Para eso use una regla noindex o una protección con contraseña.

¿Por qué cada grupo de IA repite las rutas bloqueadas?

Un rastreador lee solo el grupo que lo nombra, y el grupo de todos los rastreadores se ignora para él. Por eso el ajuste de permitir repite sus rutas bloqueadas bajo su propia línea Allow: /, y así esas rutas siguen cerradas para el rastreador de IA.

¿Google sigue la línea Crawl-delay?

No. La página de robots.txt de Google dice que otros campos, como crawl-delay, no se admiten. Anthropic dice que sus rastreadores admiten la extensión no estándar Crawl-delay.

¿Bloquear Google-Extended afecta a mi posicionamiento en la Búsqueda de Google?

No. La documentación de rastreadores de Google dice que Google-Extended no afecta a la inclusión de un sitio en la Búsqueda de Google, y que no se usa como señal de posicionamiento.

¿Está confirmado el token Bytespider por su operador?

No. Cuando se revisó esta herramienta no se encontró ninguna página de rastreador de ByteDance, así que el token procede de sitios de terceros. Busque peticiones con ese nombre en los registros de su servidor antes de confiar en la regla.

¿Dónde debo poner el archivo?

En la carpeta principal del sitio, para que se abra en la dirección raíz con el nombre robots.txt. La página de Google dice que el archivo debe colocarse en el directorio de nivel superior del sitio.

¿La herramienta guarda lo que escribo o lo envía a un servidor?

No. El archivo se escribe en su navegador. Nada de lo que escribe se envía a nadie ni se guarda.

Fuentes

Cifras y texto revisados por última vez el martes, 10 de noviembre de 2026.

Resultado