Robots.txt जनरेटर: AI क्रॉलर रोकने और साइटमैप के साथ

इसका इस्तेमाल कैसे करें

सभी क्रॉलर के लिए डिफॉल्ट चुनें, और वर्जित पाथ हर लाइन में एक लिखें।
बंद क्षेत्र के भीतर जो फ़ोल्डर खुले रहने चाहिए उनके लिए अनुमत पाथ जोड़ें, और अपने साइटमैप पते लिखें।
AI क्रॉलर के साथ तय करें: कोई समूह न जोड़ें, सबको रोकें, या सबको अनुमति दें।
फ़ाइल कॉपी करें या डाउनलोड करें, और साइट के सबसे ऊपर के फ़ोल्डर में robots.txt नाम से सहेजें।

क्रॉलर फ़ाइल कैसे पढ़ता है

क्रॉलर उस समूह का पालन करता है जिसकी user-agent लाइन उसका नाम लेती है। अगर कोई समूह उसका नाम न ले, तो क्रॉलर वह समूह मानता है जो तारांकन से शुरू होता है, जो सभी क्रॉलर पर लागू होता है (RFC 9309, खंड 2.2.1)। Google का robots.txt पेज कहता है कि क्रॉलर से सबसे सटीक मेल खाने वाले user agent वाला समूह इस्तेमाल होता है, और बाकी समूह नजरअंदाज होते हैं।

जब एक वर्जित पाथ और एक अनुमत पाथ, दोनों किसी पते से मेल खाएँ, तो लंबा पाथ जीतता है। अगर दोनों बराबर लंबे हों, तो अनुमत पाथ जीतता है (RFC 9309, खंड 2.2.2)। Google कहता है कि ऐसे में वह सबसे कम प्रतिबंधात्मक नियम इस्तेमाल करता है।

Google को फ़ाइल साइट की सबसे ऊपर की डायरेक्टरी में चाहिए, और उसका नाम robots.txt होना चाहिए।
Google उन लाइनों को अनदेखा करता है जो वह नहीं समझता, और फ़ाइल का केवल अधिकतम 500 kibibyte पढ़ता है।

इस टूल के AI क्रॉलर

नीचे हर टोकन वह नाम है जो उसका ऑपरेटर अपने दस्तावेज में देता है, सिवाय Bytespider के, जिसका कोई आधिकारिक पेज नहीं मिला। उद्देश्य वैसे ही हैं जैसे ऑपरेटर उन्हें बताते हैं।

टोकन	ऑपरेटर और उद्देश्य	ऑपरेटर का पेज
GPTBot	OpenAI: ऐसी सामग्री खंगालता है जो उसके जनरेटिव AI फ़ाउंडेशन मॉडल के प्रशिक्षण में इस्तेमाल हो सकती है	OpenAI bots पेज
ClaudeBot	Anthropic: वेब सामग्री जुटाता है जो प्रशिक्षण में योगदान दे सकती है	Anthropic crawlers सहायता पेज
Google-Extended	Google: नियंत्रित करता है कि खंगाली गई सामग्री AI मॉडल विकास में जा सकती है; इससे खोज में शामिल होना या रैंकिंग प्रभावित नहीं होती	Google crawler दस्तावेज
PerplexityBot	Perplexity: अपने खोज परिणामों में वेबसाइटें दिखाता और जोड़ता है, और AI फ़ाउंडेशन मॉडल के लिए सामग्री खंगालने में इस्तेमाल नहीं होता	Perplexity bots गाइड
CCBot	Common Crawl: वेब क्रॉल डेटा का खुला भंडार बनाता है; robots.txt बाहर रहने का तरीका है	Common Crawl CCBot पेज
Applebot-Extended	Apple: नियंत्रित करता है कि सामग्री Apple के फ़ाउंडेशन मॉडल के प्रशिक्षण में इस्तेमाल हो सकती है या नहीं	Apple का About Applebot पेज
Bytespider	ByteDance: पुष्टि नहीं, क्योंकि कोई आधिकारिक क्रॉलर पेज नहीं मिला	कोई नहीं मिला
meta-externalagent	Meta: AI फ़ाउंडेशन मॉडल का प्रशिक्षण या सामग्री की सीधी इंडेक्सिंग	Meta वेब क्रॉलर पेज

robots.txt क्या नहीं करता

यह किसी पेज को Google से बाहर नहीं रखता। Google की परिचय गाइड कहती है कि robots.txt किसी वेब पेज को Google से बाहर रखने का तरीका नहीं है; इसके लिए noindex नियम या पासवर्ड सुरक्षा इस्तेमाल करें।
यह उस क्रॉलर को नहीं रोकता जो उसे अनदेखा करने का फैसला करे। यह केवल क्रॉलरों से कहता है कि उसमें लिखे पाथ से दूर रहें।
Google Crawl-delay अनदेखा करता है, इसलिए यहाँ सेट किए गए क्रॉल डिले का Google पर कोई असर नहीं होता।

हल किया हुआ उदाहरण: एक दुकान जो AI क्रॉलर रोकती है

डिफॉल्ट इनपुट सभी क्रॉलर को अनुमति देते हैं, /admin/, /checkout/ और सॉर्ट पैरामीटर वाले हर पते को बंद करते हैं, और /admin/help/ खुला रखते हैं, क्योंकि यह अनुमत पाथ वर्जित /admin/ से लंबा है। AI क्रॉलर रोके गए हैं, और दोनों साइटमैप अंत में सूचीबद्ध हैं।

तालिका दिखाती है कि तीन पतों के लिए फ़ाइल की कौन सी लाइन फैसला लेती है।

क्रॉलर	पता	फैसला करने वाला नियम
Googlebot, जिसका अपना समूह नहीं है	/admin/login	Disallow: /admin/
Googlebot, जिसका अपना समूह नहीं है	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

अक्सर पूछे जाने वाले सवाल

क्या robots.txt किसी पेज को Google खोज परिणामों से बाहर रखता है?

नहीं। Google की robots.txt परिचय गाइड कहती है कि यह फ़ाइल किसी वेब पेज को Google से बाहर रखने का तरीका नहीं है। किसी पेज को बाहर रखने के लिए noindex नियम या पासवर्ड सुरक्षा इस्तेमाल करें।

हर AI समूह वर्जित पाथ क्यों दोहराता है?

क्रॉलर केवल वही समूह पढ़ता है जो उसका नाम लेता है, और सभी क्रॉलर वाला समूह उसके लिए अनदेखा होता है। इसलिए अनुमति सेटिंग आपके वर्जित पाथ को अपनी Allow: / लाइन के नीचे दोहराती है, ताकि वे पाथ AI क्रॉलर के लिए बंद रहें।

क्या Google Crawl-delay लाइन मानता है?

नहीं। Google का robots.txt पेज कहता है कि crawl-delay जैसे दूसरे फ़ील्ड समर्थित नहीं हैं। Anthropic कहता है कि उसके क्रॉलर गैर-मानक Crawl-delay एक्सटेंशन समर्थित करते हैं।

Google-Extended रोकने से Google खोज में मेरी रैंकिंग पर असर पड़ता है?

नहीं। Google की क्रॉलर दस्तावेजीकरण कहता है कि Google-Extended Google खोज में साइट के शामिल होने को प्रभावित नहीं करता, और उसे रैंकिंग संकेत के रूप में इस्तेमाल नहीं किया जाता।

क्या Bytespider टोकन की पुष्टि उसके ऑपरेटर ने की है?

नहीं। यह टूल जब जाँचा गया, तब ByteDance के क्रॉलर का कोई पेज नहीं मिला, इसलिए यह टोकन तीसरे पक्ष की साइटों से आता है। नियम पर भरोसा करने से पहले अपने सर्वर लॉग में उस नाम के अनुरोध देखें।

फ़ाइल कहाँ रखनी चाहिए?

साइट के सबसे ऊपर के फ़ोल्डर में, ताकि वह robots.txt नाम से रूट पते पर खुले। Google का पेज कहता है कि फ़ाइल साइट की सबसे ऊपर की डायरेक्टरी में होनी चाहिए।

क्या यह टूल मेरी लिखी चीज सहेजता या सर्वर को भेजता है?

नहीं। फ़ाइल आपके ब्राउज़र में बनती है। आप जो भी लिखते हैं वह न हम तक भेजा जाता है, न सहेजा जाता है।

स्रोत

आँकड़े और टेक्स्ट आखिरी बार मंगलवार, 10 नवंबर 2026 को जाँचे गए।

परिणाम