Testador de robots.txt: veja se um caminho é permitido

Como usar

Cole o arquivo robots.txt em Arquivo robots.txt.
Digite o caminho ou o endereço completo em Caminho ou endereço, e o nome do rastreador em Nome do rastreador.
Leia Permitido para este rastreador, depois a linha em Regra que decide para ver o motivo.

Como a decisão é tomada

A ferramenta escolhe o grupo primeiro. As linhas User-agent que citam o rastreador, comparadas sem diferenciar maiúsculas de minúsculas, formam um grupo. Se nenhuma citar o rastreador, usa-se o grupo de todos os rastreadores (o asterisco) (RFC 9309, seção 2.2.1).

Dentro desse grupo, cada regra cujo padrão corresponde ao endereço desde o primeiro caractere é comparada. Vence o padrão mais longo, e uma regra de permissão vence em caso de empate (RFC 9309, seção 2.2.2). Se nenhuma regra corresponde, o endereço é permitido. O arquivo /robots.txt em si é sempre permitido.

Um asterisco (*) em um padrão corresponde a qualquer texto, e um cifrão ($) no fim de um padrão encerra a correspondência.
Escapes de letras, dígitos e dos caracteres - . _ ~ são decodificados antes da comparação, então %7E e ~ são iguais.
Comentários começam em uma cerquilha (#), e um valor vazio de Allow ou Disallow é ignorado.

Onde o Google e a RFC concordam

A página do Google sobre robots.txt descreve as mesmas regras: o grupo com o user agent correspondente mais específico é usado, a regra mais específica, com base no tamanho do caminho, vence, e a regra menos restritiva vence um conflito. A ferramenta segue a RFC onde os dois textos diferem na redação, e não encontra diferença nessas regras.

O Google compara o caminho e a consulta. A RFC não diz se a consulta faz parte do caminho; esta ferramenta a compara, como fazem as linhas de exemplo da página do Google.
A RFC não diz o que significa um valor vazio. O Google o ignora, e esta ferramenta também.

Exemplo trabalhado: três endereços em um arquivo

O arquivo padrão tem um grupo para todos os rastreadores e um grupo para o Googlebot. O Googlebot segue só o próprio grupo, então /drafts/ fica bloqueado para ele, mas não para outros rastreadores. A tabela mostra o resultado para três pedidos.

A linha 9 bloqueia /private/ para o Googlebot. A linha 5 é uma regra de permissão mais longa que o /private/ bloqueado, então ela vence para press-kit.html.

Endereço	Rastreador	Situação	Regra que decide	Grupo que vale
/private/page.html	Googlebot	Bloqueado	Linha 9: Disallow: /private/	Linha 7: User-agent: Googlebot
/private/press-kit.html	Bingbot	Permitido	Linha 5: Allow: /private/press-kit.html	Linha 2: User-agent: *
/drafts/new.html	Googlebot	Bloqueado	Linha 8: Disallow: /drafts/	Linha 7: User-agent: Googlebot

Perguntas frequentes

A ferramenta verifica o nome do host em um endereço completo?

Não. Só o caminho e a consulta são usados. Se o arquivo tem regras que citam outro host, esta ferramenta não verifica se elas valem para o endereço digitado.

Por que o próprio arquivo robots.txt é sempre permitido?

A RFC 9309 diz que o URI /robots.txt é implicitamente permitido, para que um rastreador sempre possa ler as regras. A ferramenta segue essa regra e mostra o resultado como o arquivo robots.

O que acontece quando duas regras correspondem ao mesmo endereço?

Vale a regra com o padrão mais longo, porque ela é a mais específica. Se os dois padrões têm o mesmo tamanho, vence a regra de permissão.

Por que uma regra com valor vazio não tem efeito?

A gramática da RFC aceita um valor vazio, mas não diz o que ele significa. A página do Google diz que os rastreadores ignoram uma regra sem caminho, e esta ferramenta faz o mesmo.

O arquivo é enviado para algum servidor?

Não. O arquivo é lido no navegador. Nada do que você cola é enviado para nós nem guardado.

Um arquivo com mais de 500 KiB ainda funciona?

Só os primeiros 500 KiB são lidos, como o Google faz. A ferramenta avisa quando o arquivo é maior, para que você veja se uma regra no fim seria ignorada.

Fontes

Números e texto verificados pela última vez em terça-feira, 10 de novembro de 2026.

Resultado