Robots.txt Test Aracı: Bir Adresi Kurallara Göre Sınayın

Nasıl kullanılır?

robots.txt dosyanızı robots.txt dosyası kutusuna yapıştırın.
Yol ya da adres kutusuna yolu ya da tam adresi, Tarayıcı adı kutusuna tarayıcının adını yazın.
Bu tarayıcıya izin var mı sonucunu okuyun, nedenini görmek için Kararı veren kural satırına bakın.

Karar nasıl verilir

Araç önce grubu seçer. Tarayıcıyı büyük-küçük harf farkı gözetmeden adlandıran user-agent satırları tek bir grup oluşturur. Hiçbiri adlandırmıyorsa, tüm tarayıcılar için olan grup (yıldız) kullanılır (RFC 9309, bölüm 2.2.1).

Bu grupta, desenin adresle ilk karakterinden başlayarak eşleştiği her kural karşılaştırılır. En uzun desen kazanır; eşitlikte izin veren kural kazanır (RFC 9309, bölüm 2.2.2). Hiçbir kural eşleşmezse adrese izin verilir. /robots.txt dosyası her zaman izinlidir.

Bir desendeki yıldız (*) herhangi bir metinle, desenin sonundaki dolar işareti ($) ise eşleşmenin sonuyla eşleşir.
Harf, rakam ve - . _ ~ karakterlerinin kaçışları karşılaştırmadan önce çözülür; bu yüzden %7E ile ~ aynıdır.
Yorumlar diyez işaretiyle başlar; boş bir İzin ver ya da Engelle değeri yok sayılır.

Google ile RFC'nin uyumu

Google'ın robots.txt sayfası aynı kuralları anlatır: eşleşen en özel user-agent grubu kullanılır, yolunun uzunluğuna göre en özel kural kazanır ve bir çelişkide en az kısıtlayıcı kural geçerlidir. İki metnin ifadeleri farklı olduğunda araç RFC'yi izler; bu kurallarda bir fark bulunmadı.

Google yolu ve sorguyu eşleştirir. RFC sorgunun yolun bir parçası olup olmadığını söylemez; bu araç Google sayfasındaki örnek satırlar gibi sorguyu da eşleştirir.
RFC boş değerin ne anlama geldiğini söylemez. Google onu yok sayar; bu araç da öyle yapar.

Örnek: tek bir dosyada üç adres

Varsayılan dosyada tüm tarayıcılar için bir grup ve Googlebot için bir grup vardır. Googlebot yalnızca kendi grubunu izler; bu yüzden /drafts/ ona engellenir, diğer tarayıcılara engellenmez. Tablo üç istek için sonucu gösterir.

9. satır Googlebot için /private/ yolunu engeller. 5. satır, engellenen /private/ yolundan daha uzun bir izin kuralıdır; press-kit.html için o kazanır.

Adres	Tarayıcı	Durum	Kararı veren kural	Uygulanan grup
/private/page.html	Googlebot	Engellendi	9. satır: Disallow: /private/	7. satır: User-agent: Googlebot
/private/press-kit.html	Bingbot	İzin verildi	5. satır: Allow: /private/press-kit.html	2. satır: User-agent: *
/drafts/new.html	Googlebot	Engellendi	8. satır: Disallow: /drafts/	7. satır: User-agent: Googlebot

Sık sorulan sorular

Araç tam adresteki sunucu adını denetliyor mu?

Hayır. Yalnızca yol ve sorgu kullanılır. Dosyada başka bir sunucuyu adlandıran kurallar varsa, bu aracın o kuralların girdiğiniz adrese uygulanıp uygulanmadığını denetlemediğini unutmayın.

robots.txt dosyasının kendisi neden her zaman izinlidir?

RFC 9309, /robots.txt adresinin örtük olarak izinli olduğunu söyler; böylece bir tarayıcı kuralları her zaman okuyabilir. Araç bu kuralı izler ve sonucu robots dosyası olarak gösterir.

Aynı adresle iki kural eşleşirse ne olur?

Daha uzun desene sahip kural kararı verir, çünkü daha özel olandır. İki desen eşit uzunluktaysa izin veren kural kazanır.

Boş değeri olan bir kuralın etkisi neden yoktur?

RFC dilbilgisi boş bir değere izin verir, ama ne anlama geldiğini söylemez. Google'ın sayfası, yolu olmayan bir kuralın tarayıcılar tarafından yok sayıldığını söyler; bu araç da aynısını yapar.

Dosyam bir sunucuya gönderiliyor mu?

Hayır. Dosya tarayıcınızda okunur. Yapıştırdığınız hiçbir şey bize gönderilmez ve saklanmaz.

500 KiB'tan uzun bir dosya hâlâ çalışır mı?

Google'ın okuduğu gibi yalnızca ilk 500 KiB okunur. Dosya daha uzunsa araç bunu söyler; böylece sonundaki bir kuralın yok sayılıp sayılmayacağını görebilirsiniz.

Kaynaklar

Rakamlar ve metin en son 10 Kasım 2026 Salı tarihinde kontrol edildi.

Sonuç