Robots.txt Oluşturucu: AI Tarayıcıları ve Site Haritası

Nasıl kullanılır?

Tüm tarayıcılar için varsayılan seçeneğini seçin ve engellenen yolları her satıra bir tane olacak şekilde yazın.
Engellenen bir alanın içinde açık kalması gereken klasörler için izin verilen yolları ekleyin ve site haritası adreslerinizi girin.
AI tarayıcıları için ne yapılacağını seçin: grup ekleme, hepsini engelle ya da hepsine izin ver.
Dosyayı kopyalayın ya da indirin ve sitenizin kök klasörüne robots.txt adıyla kaydedin.

Bir tarayıcı dosyayı nasıl okur

Bir tarayıcı, kendi adını anan user-agent satırının bulunduğu grubu izler. Hiçbir grup onu anmıyorsa, yıldızla başlayan ve tüm tarayıcılara uygulanan grubu izler (RFC 9309, bölüm 2.2.1). Google'ın robots.txt sayfası da tarayıcıyla eşleşen en özel user-agent grubunun kullanıldığını, diğer grupların yok sayıldığını söyler.

Engellenen bir yol ile izin verilen bir yol aynı adresle eşleşirse uzun olan yol geçerlidir; uzunlukları eşitse izin verilen yol geçerlidir (RFC 9309, bölüm 2.2.2). Google bu durumda en az kısıtlayıcı kuralı kullandığını söyler.

Google, dosyanın sitenin en üst klasöründe bulunmasını ister ve dosya adı robots.txt olmalıdır.
Google, anlamadığı satırları yok sayar ve dosyanın en fazla 500 kibibayt kısmını okur.

Bu araçtaki AI tarayıcıları

Aşağıdaki her belirteç, işletmecisinin kendi belgelerinde verdiği addır; Bytespider hariç, çünkü resmî bir sayfası bulunamadı. Kullanım amaçları işletmecilerin tanımladığı gibidir.

Belirteç	İşletmeci ve kullanım amacı	İşletmecinin sayfası
GPTBot	OpenAI: üretken AI temel modellerinin eğitiminde kullanılabilecek içerikleri tarar	OpenAI bot sayfası
ClaudeBot	Anthropic: eğitime katkı sağlayabilecek web içeriklerini toplar	Anthropic tarayıcı yardım sayfası
Google-Extended	Google: taranan içeriğin AI model geliştirmede kullanılıp kullanılmayacağını denetler; Arama'da dizine alınmayı ya da sıralamayı etkilemez	Google tarayıcı belgeleri
PerplexityBot	Perplexity: web sitelerini kendi arama sonuçlarında gösterir ve bağlantılar; AI temel modelleri için içerik taramak amacıyla kullanılmaz	Perplexity bot rehberi
CCBot	Common Crawl: açık bir web tarama verisi deposu oluşturur; çıkmanın yolu robots.txt'tir	Common Crawl CCBot sayfası
Applebot-Extended	Apple: içeriğin Apple'ın temel modellerinin eğitiminde kullanılıp kullanılmayacağını denetler	Apple'ın About Applebot sayfası
Bytespider	ByteDance: doğrulanmamış; resmî bir tarayıcı sayfası bulunamadı	Bulunamadı
meta-externalagent	Meta: AI temel modellerinin eğitimi ya da içeriğin doğrudan dizine alınması	Meta web tarayıcıları sayfası

robots.txt neyi yapmaz

Bir sayfayı Google'dan uzak tutmaz. Google'ın giriş sayfası, robots.txt'in bir sayfayı Google'dan uzak tutmanın bir mekanizması olmadığını söyler; bunun için noindex kuralı ya da parola koruması kullanın.
Dosyayı yok sayan bir tarayıcıyı durdurmaz. Yalnızca tarayıcılardan dosyada adı geçen yollardan uzak durmalarını ister.
Google, Crawl-delay satırını yok saydığı için buraya yazdığınız tarama gecikmesi Google için etkili olmaz.

Örnek: AI tarayıcılarını engelleyen bir mağaza

Varsayılan girdiler tüm tarayıcılara izin verir; /admin/ ve /checkout/ yollarını ve sıralama parametresi içeren her adresi (/*?sort=) kapatır. Ancak /admin/help/ açık kalır, çünkü bu izin verilen yol engellenen /admin/ yolundan daha uzundur. AI tarayıcıları engellenir ve iki site haritası dosyanın sonunda listelenir.

Tablo, üç adres için dosyadaki hangi satırın karar verdiğini gösterir.

Tarayıcı	Adres	Kararı veren kural
Kendi grubu olmayan Googlebot	/admin/login	Disallow: /admin/
Kendi grubu olmayan Googlebot	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

Sık sorulan sorular

robots.txt bir sayfayı Google arama sonuçlarından uzak tutar mı?

Hayır. Google'ın robots.txt giriş sayfası, dosyanın bir sayfayı Google'dan uzak tutmanın bir mekanizması olmadığını söyler. Bir sayfayı uzak tutmak için noindex kuralı ya da parola koruması kullanın.

Neden her AI grubu engellenen yolları tekrarlıyor?

Bir tarayıcı yalnızca kendi adını anan grubu okur; herkes için olan grup o tarayıcı için yok sayılır. İzin ver seçeneği bu yüzden engellenen yolları kendi Allow: / satırının altında tekrarlar, böylece o yollar AI tarayıcısına da kapalı kalır.

Google Crawl-delay satırını dikkate alır mı?

Hayır. Google'ın robots.txt sayfası, crawl-delay gibi alanların desteklenmediğini söyler. Anthropic ise tarayıcılarının standart dışı Crawl-delay uzantısını desteklediğini belirtir.

Google-Extended'i engellemek Google Arama sıralamamı etkiler mi?

Hayır. Google'ın tarayıcı belgeleri, Google-Extended'in bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve sıralama sinyali olarak kullanılmadığını söyler.

Bytespider belirteci işletmeci tarafından doğrulanmış mı?

Hayır. Bu araç kontrol edildiğinde ByteDance'ın bir tarayıcı sayfası bulunamadı; belirteç üçüncü taraf sitelerden alındı. Kuralı kullanmadan önce sunucu günlüklerinizde bu adla gelen istekleri arayın.

Dosyayı nereye koymalıyım?

Sitenin en üst klasörüne, robots.txt adıyla; böylece kök adreste açılır. Google'ın sayfası dosyanın bir sitenin en üst klasöründe bulunması gerektiğini söyler.

Araç yazdıklarımı saklıyor ya da bir sunucuya mı gönderiyor?

Hayır. Dosya tarayıcınızda yazılır. Yazdığınız hiçbir şey bize gönderilmez ve saklanmaz.

Kaynaklar

Rakamlar ve metin en son 10 Kasım 2026 Salı tarihinde kontrol edildi.

Sonuç