Cara memakai
- Pilih Nilai bawaan untuk semua crawler dan ketik path yang dilarang, satu per baris.
- Tambahkan path yang diizinkan untuk folder yang harus tetap terbuka di dalam area yang diblokir, dan masukkan alamat sitemap Anda.
- Pilih apa yang dilakukan terhadap Crawler AI: jangan tambahkan grup, blokir semuanya, atau izinkan semuanya.
- Salin berkasnya atau unduh, lalu simpan sebagai robots.txt di folder teratas situs Anda.
Cara crawler membaca berkas
Crawler mematuhi grup yang baris user-agent-nya menamainya. Jika tidak ada grup yang menamainya, crawler mematuhi grup yang diawali tanda bintang, yang berlaku untuk semua crawler (RFC 9309, bagian 2.2.1). Halaman robots.txt Google menyatakan bahwa grup dengan user agent paling spesifik yang cocok dengan crawler itulah yang dipakai, dan grup lain diabaikan.
Ketika path yang dilarang dan path yang diizinkan sama-sama cocok dengan sebuah alamat, path yang lebih panjang menang. Jika panjangnya sama, path yang diizinkan menang (RFC 9309, bagian 2.2.2). Google menyatakan bahwa dalam kasus itu ia memakai aturan yang paling tidak membatasi.
- Google mensyaratkan berkas berada di direktori tingkat atas situs, dan namanya harus robots.txt.
- Google mengabaikan baris yang tidak dipahaminya dan membaca paling banyak 500 kibibyte dari berkas.
Crawler AI dalam alat ini
Setiap token di bawah adalah nama yang diberikan operatornya dalam dokumentasinya sendiri, kecuali Bytespider, yang tidak ditemukan halaman resminya. Tujuannya sesuai dengan penjelasan operator.
| Token | Operator dan tujuan | Halaman operator |
|---|---|---|
| GPTBot | OpenAI: merayapi konten yang mungkin dipakai untuk melatih model fondasi AI generatifnya | Halaman bot OpenAI |
| ClaudeBot | Anthropic: mengumpulkan konten web yang bisa berkontribusi pada pelatihan | Halaman bantuan crawler Anthropic |
| Google-Extended | Google: mengendalikan apakah konten yang dirayapi boleh dipakai untuk pengembangan model AI; ia tidak memengaruhi keikutsertaan atau peringkat di Search | Dokumentasi crawler Google |
| PerplexityBot | Perplexity: memunculkan dan menautkan situs web di hasil pencariannya, dan tidak dipakai untuk merayapi konten bagi model fondasi AI | Panduan bot Perplexity |
| CCBot | Common Crawl: membangun repositori terbuka data perayapan web; robots.txt adalah cara untuk keluar | Halaman CCBot Common Crawl |
| Applebot-Extended | Apple: mengendalikan apakah konten boleh dipakai untuk melatih model fondasi Apple | Halaman About Applebot Apple |
| Bytespider | ByteDance: belum dikonfirmasi, karena tidak ditemukan halaman crawler resmi | Tidak ditemukan |
| meta-externalagent | Meta: melatih model fondasi AI atau mengindeks konten secara langsung | Halaman crawler web Meta |
Yang tidak dilakukan robots.txt
- Ia tidak menjauhkan halaman dari Google. Pengantar robots.txt dari Google menyatakan bahwa robots.txt bukan mekanisme untuk menjauhkan halaman web dari Google; gunakan aturan noindex atau proteksi kata sandi untuk itu.
- Ia tidak menghentikan crawler yang memilih mengabaikannya. Ia hanya meminta crawler menjauhi path yang disebutkan di dalamnya.
- Google mengabaikan Crawl-delay, sehingga jeda crawl yang Anda atur di sini tidak berpengaruh pada Google.
Contoh kerja: toko yang memblokir crawler AI
Masukan bawaan mengizinkan semua crawler, menutup /admin/, /checkout/ dan setiap alamat dengan parameter sort, dan membiarkan /admin/help/ terbuka, karena path yang diizinkan itu lebih panjang daripada /admin/ yang dilarang. Crawler AI diblokir, dan kedua sitemap didaftar di bagian akhir.
Tabel menunjukkan baris mana dari berkas yang menentukan untuk tiga alamat.
| Crawler | Alamat | Aturan yang menentukan |
|---|---|---|
| Googlebot, yang tidak memiliki grup sendiri | /admin/login | Disallow: /admin/ |
| Googlebot, yang tidak memiliki grup sendiri | /admin/help/faq.html | Allow: /admin/help/ |
| GPTBot | /products/shirt.html | Disallow: / |
Pertanyaan yang sering diajukan
Apakah robots.txt menjauhkan halaman dari hasil pencarian Google?
Tidak. Pengantar robots.txt dari Google menyatakan bahwa berkas itu bukan mekanisme untuk menjauhkan halaman web dari Google. Untuk menjauhkan halaman, gunakan aturan noindex atau proteksi kata sandi.
Mengapa setiap grup AI mengulang path yang dilarang?
Crawler hanya membaca grup yang menamainya, dan grup untuk semua crawler diabaikan baginya. Pengaturan izin karena itu mengulang path yang dilarang Anda di bawah baris Allow: / miliknya sendiri, sehingga path itu tetap tertutup bagi crawler AI.
Apakah Google mengikuti baris Crawl-delay?
Tidak. Halaman robots.txt Google menyatakan bahwa kolom lain seperti crawl-delay tidak didukung. Anthropic menyatakan crawler-nya mendukung ekstensi Crawl-delay yang tidak standar.
Apakah memblokir Google-Extended memengaruhi peringkat saya di Google Search?
Tidak. Dokumentasi crawler Google menyatakan bahwa Google-Extended tidak memengaruhi keikutsertaan situs dalam Google Search, dan ia tidak dipakai sebagai sinyal peringkat.
Apakah token Bytespider dikonfirmasi oleh operatornya?
Tidak. Ketika alat ini diperiksa, tidak ditemukan halaman crawler ByteDance, sehingga token itu berasal dari situs pihak ketiga. Cari permintaan dengan nama itu di log server Anda sebelum Anda mengandalkan aturannya.
Di mana saya sebaiknya meletakkan berkas?
Di folder tingkat atas situs, agar ia terbuka di alamat akar dengan nama robots.txt. Halaman Google menyatakan bahwa berkas harus diletakkan di direktori tingkat atas situs.
Apakah alat ini menyimpan apa yang saya ketik atau mengirimkannya ke server?
Tidak. Berkas ditulis di peramban Anda. Tidak ada yang Anda ketik yang dikirim kepada kami atau disimpan.
Sumber
- Google Search Central (dalam bahasa Inggris): cara Google menafsirkan spesifikasi robots.txt
- Google Search Central (dalam bahasa Inggris): pengantar robots.txt
- Google Search Central (dalam bahasa Inggris): crawler Google, termasuk Google-Extended
- RFC 9309: Robots Exclusion Protocol (dalam bahasa Inggris)
- OpenAI (dalam bahasa Inggris): bot dan crawler, termasuk GPTBot
- Anthropic (dalam bahasa Inggris): crawler, termasuk ClaudeBot
- Perplexity (dalam bahasa Inggris): bot, termasuk PerplexityBot
- Common Crawl (dalam bahasa Inggris): CCBot
- Apple (dalam bahasa Inggris): About Applebot, termasuk Applebot-Extended
- Meta (dalam bahasa Inggris): crawler web, termasuk meta-externalagent
Angka dan teks terakhir diperiksa pada Selasa, 10 November 2026.