Cara memakai
- Tempel berkas robots.txt Anda ke dalam Berkas robots.txt.
- Masukkan path atau alamat lengkap di Path atau alamat, dan nama crawler di Nama crawler.
- Baca Diizinkan untuk crawler ini, lalu baris di Aturan yang menentukan untuk melihat alasannya.
Cara keputusan dibuat
Alat ini pertama-tama memilih grup. Baris user-agent yang menamai crawler, dibandingkan tanpa membedakan huruf besar dan kecil, membentuk satu grup. Jika tidak ada yang menamainya, dipakai grup untuk semua crawler (tanda bintang) (RFC 9309, bagian 2.2.1).
Dalam grup itu, setiap aturan yang polanya cocok dengan alamat dari karakter pertamanya dibandingkan. Pola terpanjang menang, dan aturan izin menang jika sama panjang (RFC 9309, bagian 2.2.2). Jika tidak ada aturan yang cocok, alamat diizinkan. Berkas /robots.txt itu sendiri selalu diizinkan.
- Tanda bintang (*) dalam pola cocok dengan teks apa pun, dan tanda dolar ($) di akhir pola mengakhiri pencocokan.
- Escape huruf, angka dan karakter - . _ ~ didekode sebelum dibandingkan, sehingga %7E dan ~ sama.
- Komentar dimulai dengan tanda pagar, dan nilai Allow atau Disallow yang kosong diabaikan.
Tempat Google dan RFC sepakat
Halaman robots.txt Google menjelaskan aturan yang sama: grup dengan user agent paling spesifik yang cocok dipakai, aturan paling spesifik berdasarkan panjang path-nya menang, dan aturan yang paling tidak membatasi menang jika terjadi konflik. Alat ini mengikuti RFC jika kedua teks berbeda dalam kata-kata, dan tidak menemukan perbedaan dalam aturan-aturan ini.
- Google mencocokkan path dan query. RFC tidak mengatakan apakah query termasuk path; alat ini mencocokkannya, seperti contoh baris pada halaman Google.
- RFC tidak mengatakan apa arti nilai kosong. Google mengabaikannya, dan alat ini juga.
Contoh kerja: tiga alamat pada satu berkas
Berkas bawaan memiliki grup untuk semua crawler dan grup untuk Googlebot. Googlebot hanya mengikuti grupnya sendiri, sehingga /drafts/ diblokir untuknya tetapi tidak untuk crawler lain. Tabel menunjukkan hasil untuk tiga permintaan.
Baris 9 memblokir /private/ untuk Googlebot. Baris 5 adalah aturan izin yang lebih panjang daripada /private/ yang dilarang, sehingga ia menang untuk press-kit.html.
| Alamat | Crawler | Status | Aturan yang menentukan | Grup yang berlaku |
|---|---|---|---|---|
| /private/page.html | Googlebot | Diblokir | Baris 9: Disallow: /private/ | Baris 7: User-agent: Googlebot |
| /private/press-kit.html | Bingbot | Diizinkan | Baris 5: Allow: /private/press-kit.html | Baris 2: User-agent: * |
| /drafts/new.html | Googlebot | Diblokir | Baris 8: Disallow: /drafts/ | Baris 7: User-agent: Googlebot |
Pertanyaan yang sering diajukan
Apakah alat ini memeriksa nama host dalam alamat lengkap?
Tidak. Hanya path dan query yang dipakai. Jika berkas memiliki aturan yang menamai host lain, alat ini tidak memeriksa apakah aturan itu berlaku untuk alamat yang Anda masukkan.
Mengapa berkas robots.txt itu sendiri selalu diizinkan?
RFC 9309 menyatakan bahwa URI /robots.txt secara implisit diizinkan, sehingga crawler selalu dapat membaca aturannya. Alat ini mengikuti aturan itu dan menampilkan hasilnya sebagai berkas robots.
Apa yang terjadi ketika dua aturan cocok dengan alamat yang sama?
Aturan dengan pola yang lebih panjang yang menentukan, karena ia lebih spesifik. Jika kedua pola sama panjang, aturan izin yang menentukan.
Mengapa aturan dengan nilai kosong tidak berpengaruh?
Tata bahasa RFC mengizinkan nilai kosong tetapi tidak menjelaskan artinya. Halaman Google menyatakan bahwa crawler mengabaikan aturan tanpa path, dan alat ini melakukan hal yang sama.
Apakah berkas saya dikirim ke server?
Tidak. Berkas dibaca di peramban Anda. Tidak ada yang Anda tempel yang dikirim kepada kami atau disimpan.
Apakah berkas yang lebih panjang dari 500 KiB tetap berfungsi?
Hanya 500 KiB pertama yang dibaca, seperti Google membacanya. Alat ini memberi tahu jika berkas lebih panjang, sehingga Anda bisa melihat apakah aturan di bagian akhir akan diabaikan.
Sumber
- RFC 9309: Robots Exclusion Protocol (dalam bahasa Inggris)
- Google Search Central (dalam bahasa Inggris): cara Google menafsirkan spesifikasi robots.txt, dengan contoh pencocokan path
- Google Search Central (dalam bahasa Inggris): pengantar robots.txt
Angka dan teks terakhir diperiksa pada Selasa, 10 November 2026.