Gerador de robots.txt com bloqueio de rastreadores de IA

Como usar

Escolha o Padrão para todos os rastreadores e digite os caminhos bloqueados, um por linha.
Acrescente caminhos permitidos para as pastas que devem ficar abertas dentro de uma área bloqueada, e digite os endereços dos sitemaps.
Escolha o que fazer com os Rastreadores de IA: não acrescentar grupo, bloquear todos ou permitir todos.
Copie o arquivo ou baixe-o, e salve como robots.txt na pasta principal do site.

Como um rastreador lê o arquivo

Um rastreador obedece ao grupo cuja linha User-agent o cita. Se nenhum grupo o cita, ele obedece ao grupo que começa com asterisco, que vale para todos os rastreadores (RFC 9309, seção 2.2.1). A página do Google sobre robots.txt diz que é usado o grupo com o user agent mais específico que corresponde ao rastreador, e que os outros grupos são ignorados.

Quando um caminho bloqueado e um caminho permitido correspondem ao mesmo endereço, vence o caminho mais longo. Se os dois têm o mesmo tamanho, vence o caminho permitido (RFC 9309, seção 2.2.2). O Google diz que, nesse caso, usa a regra menos restritiva.

O Google exige que o arquivo fique no diretório de nível superior do site, e o nome dele deve ser robots.txt.
O Google ignora as linhas que não entende e lê no máximo 500 kibibytes do arquivo.

Os rastreadores de IA desta ferramenta

Cada token abaixo é o nome que o operador dá na própria documentação, exceto o Bytespider, para o qual nenhuma página oficial foi encontrada. As finalidades são as que os operadores descrevem.

Token	Operador e finalidade	Página do operador
GPTBot	OpenAI: rastreia conteúdo que pode ser usado no treinamento de seus modelos de base de IA generativa	Página de bots da OpenAI (em inglês)
ClaudeBot	Anthropic: coleta conteúdo da web que pode contribuir para o treinamento	Página de ajuda sobre rastreadores da Anthropic (em inglês)
Google-Extended	Google: controla se o conteúdo rastreado pode alimentar o desenvolvimento de modelos de IA; não afeta a inclusão na Pesquisa nem o ranqueamento	Documentação de rastreadores do Google (em inglês)
PerplexityBot	Perplexity: mostra e vincula sites em seus resultados de busca, e não é usado para rastrear conteúdo para modelos de base de IA	Guia de bots da Perplexity (em inglês)
CCBot	Common Crawl: monta um repositório aberto de dados de rastreamento da web; o robots.txt é a forma de optar por não participar	Página do Common Crawl CCBot (em inglês)
Applebot-Extended	Apple: controla se o conteúdo pode ser usado para treinar os modelos de base da Apple	Página Sobre o Applebot da Apple (em inglês)
Bytespider	ByteDance: não confirmado, porque nenhuma página oficial de rastreador foi encontrada	Nenhuma encontrada
meta-externalagent	Meta: treina modelos de base de IA ou indexa conteúdo diretamente	Página de rastreadores da Meta (em inglês)

O que o robots.txt não faz

Ele não tira uma página do Google. A introdução do Google ao robots.txt diz que o arquivo não é um mecanismo para tirar uma página da web do Google; para isso, use uma regra noindex ou proteção por senha.
Ele não impede um rastreador que decida ignorá-lo. Ele só pede aos rastreadores que se mantenham longe dos caminhos citados.
O Google ignora o Crawl-delay, então o atraso de rastreamento definido aqui não tem efeito no Google.

Exemplo trabalhado: uma loja que bloqueia rastreadores de IA

As entradas padrão permitem todos os rastreadores, fecham /admin/, /checkout/ e todo endereço com um parâmetro de ordenação, e mantêm /admin/help/ aberto, porque esse caminho permitido é mais longo que o /admin/ bloqueado. Os rastreadores de IA são bloqueados, e os dois sitemaps são listados no fim.

A tabela mostra qual linha do arquivo decide para três endereços.

Rastreador	Endereço	Regra que decide
Googlebot, que não tem grupo próprio	/admin/login	Disallow: /admin/
Googlebot, que não tem grupo próprio	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Perguntas frequentes

O robots.txt tira uma página dos resultados de busca do Google?

Não. A introdução do Google ao robots.txt diz que o arquivo não é um mecanismo para tirar uma página da web do Google. Para isso, use uma regra noindex ou proteção por senha.

Por que cada grupo de IA repete os caminhos bloqueados?

Um rastreador lê só o grupo que o cita, e o grupo de todos os rastreadores é ignorado para ele. Por isso a opção de permitir repete os caminhos bloqueados sob a própria linha Allow: /, e esses caminhos continuam fechados para o rastreador de IA.

O Google segue a linha Crawl-delay?

Não. A página do Google sobre robots.txt diz que outros campos, como crawl-delay, não são suportados. A Anthropic diz que os rastreadores dela suportam a extensão Crawl-delay, que não faz parte do padrão.

Bloquear o Google-Extended afeta o ranqueamento na Pesquisa Google?

Não. A documentação de rastreadores do Google diz que o Google-Extended não afeta a inclusão de um site na Pesquisa Google, e que ele não é usado como sinal de ranqueamento.

O token Bytespider é confirmado pelo operador?

Não. Quando esta ferramenta foi verificada, nenhuma página de rastreador da ByteDance foi encontrada, então o token vem de sites de terceiros. Procure pedidos com esse nome nos registros do servidor antes de confiar na regra.

Onde devo colocar o arquivo?

Na pasta de nível superior do site, para que ele abra no endereço raiz com o nome robots.txt. A página do Google diz que o arquivo precisa ficar no diretório de nível superior do site.

A ferramenta guarda o que eu digito ou envia a um servidor?

Não. O arquivo é montado no seu navegador. Nada do que você digita é enviado para nós nem guardado.

Fontes

Números e texto verificados pela última vez em terça-feira, 10 de novembro de 2026.

Resultado