इसका इस्तेमाल कैसे करें
- अपनी robots.txt फ़ाइल robots.txt फ़ाइल में चिपकाएँ।
- पाथ या पता में पाथ या पूरा पता लिखें, और क्रॉलर का नाम में क्रॉलर का नाम।
- इस क्रॉलर के लिए अनुमति पढ़ें, फिर कारण जानने के लिए फैसला करने वाला नियम की पंक्ति देखें।
फैसला कैसे होता है
टूल पहले समूह चुनता है। वे user-agent पंक्तियाँ जो क्रॉलर का नाम लेती हैं, बड़े-छोटे अक्षरों के फर्क के बिना तुलना करके, एक समूह बनाती हैं। अगर कोई उसका नाम न ले, तो सभी क्रॉलर वाला समूह (तारांकन) इस्तेमाल होता है (RFC 9309, खंड 2.2.1)।
उस समूह में, हर ऐसे नियम की तुलना होती है जिसका पैटर्न पते के पहले अक्षर से मेल खाता है। सबसे लंबा पैटर्न जीतता है, और बराबरी में अनुमति का नियम जीतता है (RFC 9309, खंड 2.2.2)। अगर कोई नियम मेल न खाए, तो पता अनुमत है। फ़ाइल /robots.txt खुद हमेशा अनुमत है।
- पैटर्न में तारांकन (*) कोई भी टेक्स्ट मिलाता है, और पैटर्न के अंत में डॉलर चिह्न ($) मिलान खत्म करता है।
- अक्षरों, अंकों और चिह्नों - . _ ~ के एस्केप तुलना से पहले खोले जाते हैं, इसलिए %7E और ~ एक ही हैं।
- टिप्पणियाँ हैश चिह्न से शुरू होती हैं, और खाली Allow या Disallow मान अनदेखे होते हैं।
जहाँ Google और RFC एक मत हैं
Google का robots.txt पेज वही नियम बताता है: सबसे सटीक मेल खाने वाले user agent वाला समूह इस्तेमाल होता है, पाथ की लंबाई पर आधारित सबसे सटीक नियम जीतता है, और टकराव में सबसे कम प्रतिबंधात्मक नियम जीतता है। जहाँ दोनों पाठ शब्दों में अलग हैं, टूल RFC का पालन करता है, और इन नियमों में उसे कोई फर्क नहीं मिलता।
- Google पाथ और क्वेरी दोनों मिलाता है। RFC नहीं बताता कि क्वेरी पाथ का हिस्सा है या नहीं; यह टूल उसे मिलाता है, जैसा Google के पेज की उदाहरण पंक्तियाँ करती हैं।
- RFC नहीं बताता कि खाली मान का क्या अर्थ है। Google उसे अनदेखा करता है, और यह टूल भी।
हल किया हुआ उदाहरण: एक फ़ाइल पर तीन पते
डिफॉल्ट फ़ाइल में सभी क्रॉलर का एक समूह है और Googlebot का एक समूह। Googlebot केवल अपना समूह पालन करता है, इसलिए /drafts/ उसके लिए रोका गया है पर दूसरे क्रॉलरों के लिए नहीं। तालिका तीन अनुरोधों का परिणाम दिखाती है।
पंक्ति 9 Googlebot के लिए /private/ को रोकती है। पंक्ति 5 एक अनुमति नियम है जो वर्जित /private/ से लंबा है, इसलिए press-kit.html के लिए वही जीतता है।
| पता | क्रॉलर | स्थिति | फैसला करने वाला नियम | लागू होने वाला समूह |
|---|---|---|---|---|
| /private/page.html | Googlebot | रोका गया | पंक्ति 9: Disallow: /private/ | पंक्ति 7: User-agent: Googlebot |
| /private/press-kit.html | Bingbot | अनुमति | पंक्ति 5: Allow: /private/press-kit.html | पंक्ति 2: User-agent: * |
| /drafts/new.html | Googlebot | रोका गया | पंक्ति 8: Disallow: /drafts/ | पंक्ति 7: User-agent: Googlebot |
अक्सर पूछे जाने वाले सवाल
क्या यह टूल पूरे पते में होस्ट नाम जाँचता है?
नहीं। केवल पाथ और क्वेरी इस्तेमाल होते हैं। अगर फ़ाइल में किसी दूसरे होस्ट के नियम हैं, तो यह टूल जाँचता नहीं कि वे आपके लिखे पते पर लागू होते हैं या नहीं।
robots.txt फ़ाइल खुद हमेशा अनुमत क्यों है?
RFC 9309 कहता है कि /robots.txt URI अंतर्निहित रूप से अनुमत है, ताकि क्रॉलर नियम हमेशा पढ़ सके। टूल वही नियम मानता है और परिणाम robots फ़ाइल के रूप में दिखाता है।
जब दो नियम एक ही पते से मेल खाएँ तो क्या होता है?
लंबे पैटर्न वाला नियम फैसला करता है, क्योंकि वह ज्यादा सटीक है। अगर दोनों पैटर्न बराबर लंबे हों, तो अनुमति वाला नियम फैसला करता है।
खाली मान वाले नियम का कोई असर क्यों नहीं होता?
RFC का व्याकरण खाली मान की अनुमति देता है, पर नहीं बताता कि उसका अर्थ क्या है। Google का पेज कहता है कि क्रॉलर बिना पाथ वाले नियम को अनदेखा करते हैं, और यह टूल भी वही करता है।
क्या मेरी फ़ाइल किसी सर्वर को भेजी जाती है?
नहीं। फ़ाइल आपके ब्राउज़र में पढ़ी जाती है। आप जो भी चिपकाते हैं वह न हम तक भेजा जाता है, न सहेजा जाता है।
500 KiB से लंबी फ़ाइल फिर भी काम करती है?
केवल पहले 500 KiB पढ़े जाते हैं, जैसे Google पढ़ता है। फ़ाइल लंबी हो तो टूल यह बताता है, ताकि आप देख सकें कि अंत का कोई नियम अनदेखा तो नहीं होगा।
स्रोत
- RFC 9309 (अंग्रेजी में): Robots Exclusion Protocol
- Google Search Central (अंग्रेजी में): robots.txt विनिर्देश की Google की व्याख्या, पाथ मिलान के उदाहरणों सहित
- Google Search Central (अंग्रेजी में): robots.txt का परिचय
आँकड़े और टेक्स्ट आखिरी बार मंगलवार, 10 नवंबर 2026 को जाँचे गए।