طريقة الاستخدام
- اختر الافتراضي لكل الزواحف واكتب المسارات الممنوعة، مساراً في كل سطر.
- أضف المسارات المسموحة للمجلدات التي يجب أن تبقى مفتوحة داخل منطقة محجوبة، واكتب عناوين خرائط الموقع.
- اختر ما تفعله بـ روبوتات الذكاء الاصطناعي: لا تضف مجموعة، أو احجبها كلها، أو اسمح لها كلها.
- انسخ الملف أو نزّله، واحفظه باسم robots.txt في المجلد الأعلى لموقعك.
كيف يقرأ الزاحف الملف
يلتزم الزاحف بالمجموعة التي يسمّيه سطر user-agent فيها. فإن لم تسمّه أي مجموعة، يلتزم بالمجموعة التي تبدأ بنجمة، وهي التي تسري على كل الزواحف (RFC 9309، القسم 2.2.1). وتقول صفحة robots.txt لدى Google إنها تستخدم المجموعة الأكثر تحديداً لاسم الزاحف، وتتجاهل المجموعات الأخرى.
حين يطابق مسار ممنوع ومسار مسموح عنواناً، يسود الأطول. فإن تساويا في الطول، يسود المسموح (RFC 9309، القسم 2.2.2). وتقول Google إنها تستخدم في تلك الحالة القاعدة الأقل تقييداً.
- تشترط Google أن يكون الملف في المجلد الأعلى للموقع، وأن يكون اسمه robots.txt.
- تتجاهل Google الأسطر التي لا تفهمها، وتقرأ على الأكثر 500 كيبيبايت (KiB) من الملف.
روبوتات الذكاء الاصطناعي في هذه الأداة
كل رمز في الجدول هو الاسم الذي تذكره الجهة المشغّلة في وثائقها، باستثناء Bytespider، لأننا لم نجد له صفحة رسمية. والأغراض كما تصفها الجهات المشغّلة.
| الرمز | الجهة المشغّلة والغرض | صفحة الجهة المشغّلة |
|---|---|---|
| GPTBot | OpenAI: تزحف على المحتوى الذي قد يُستخدم في تدريب نماذجها التوليدية الأساسية | صفحة روبوتات OpenAI |
| ClaudeBot | Anthropic: تجمع محتوى الويب الذي قد يسهم في التدريب | صفحة مساعدة زواحف Anthropic |
| Google-Extended | Google: تتحكم فيما إذا كان المحتوى المزحوف يغذي تطوير نماذج الذكاء الاصطناعي؛ ولا يؤثر في إدراج الموقع في البحث أو في ترتيبه | وثائق زواحف Google |
| PerplexityBot | Perplexity: يعرض المواقع ويربط بها في نتائج بحثه، ولا يُستخدم لزحف المحتوى من أجل النماذج الأساسية للذكاء الاصطناعي | دليل روبوتات Perplexity |
| CCBot | Common Crawl: يبني مستودعاً مفتوحاً لبيانات زحف الويب، وrobots.txt هو وسيلة الانسحاب منه | صفحة CCBot لدى Common Crawl |
| Applebot-Extended | Apple: تتحكم فيما إذا كان المحتوى يُستخدم لتدريب النماذج الأساسية لـ Apple | صفحة About Applebot لدى Apple |
| Bytespider | ByteDance: غير مؤكَّد، لأنه لم يُعثر على صفحة رسمية للزاحف | لم يُعثر على صفحة |
| meta-externalagent | Meta: تدريب النماذج الأساسية للذكاء الاصطناعي أو فهرسة المحتوى مباشرة | صفحة زواحف الويب لدى Meta |
ما لا يفعله robots.txt
- لا يُبعد صفحة عن Google. تقول مقدمة Google لـ robots.txt إن الملف ليس آلية لإبعاد صفحة ويب عن Google؛ استخدم لذلك قاعدة noindex أو حماية بكلمة مرور.
- لا يوقف زاحفاً يختار أن يتجاهله. إنه يطلب من الزواحف فقط أن تبتعد عن المسارات المذكورة فيه.
- تتجاهل Google السطر Crawl-delay، لذلك لا يؤثر تأخير الزحف الذي تضبطه هنا في Google.
مثال محسوب: متجر يحجب روبوتات الذكاء الاصطناعي
المدخلات الافتراضية تسمح لكل الزواحف، وتغلق /admin/ و/checkout/ وكل عنوان فيه معامل ترتيب، وتُبقي /admin/help/ مفتوحاً، لأن المسار المسموح أطول من /admin/ الممنوع. روبوتات الذكاء الاصطناعي محجوبة، والخريطتان مدرجتان في النهاية.
يبيّن الجدول السطر الذي يحسم الأمر لثلاثة عناوين.
| الزاحف | العنوان | القاعدة التي تحسم |
|---|---|---|
| Googlebot، ولا مجموعة خاصة به | /admin/login | Disallow: /admin/ |
| Googlebot، ولا مجموعة خاصة به | /admin/help/faq.html | Allow: /admin/help/ |
| GPTBot | /products/shirt.html | Disallow: / |
الأسئلة الشائعة
هل يُبعد robots.txt صفحة عن نتائج بحث Google؟
لا. تقول مقدمة Google لـ robots.txt إن الملف ليس آلية لإبعاد صفحة ويب عن Google. لإبعاد صفحة استخدم قاعدة noindex أو حماية بكلمة مرور.
لماذا تكرر كل مجموعة ذكاء المسارات الممنوعة؟
يقرأ الزاحف المجموعة التي تسمّيه وحدها، وتُهمَل لأجله مجموعة كل الزواحف. لذلك يكرر إعداد السماح مساراتك الممنوعة تحت سطر Allow: / الخاص به، فتبقى تلك المسارات مغلقة أمام زاحف الذكاء الاصطناعي.
هل تلتزم Google بسطر Crawl-delay؟
لا. تقول صفحة robots.txt لدى Google إن حقولاً أخرى مثل crawl-delay غير مدعومة. وتقول Anthropic إن زواحفها تدعم امتداد Crawl-delay غير المعياري.
هل يؤثر حجب Google-Extended في ترتيبي في بحث Google؟
لا. تقول وثائق زواحف Google إن Google-Extended لا يؤثر في إدراج موقعك في بحث Google، ولا يُستخدم إشارة ترتيب.
هل تؤكد الجهة المشغّلة رمز Bytespider؟
لا. حين فُحصت هذه الأداة لم يُعثر على صفحة لزاحف ByteDance، لذلك فالرمز مأخوذ من مواقع طرف ثالث. ابحث عن طلبات بهذا الاسم في سجلات خادمك قبل أن تعتمد على القاعدة.
أين أضع الملف؟
في المجلد الأعلى للموقع، ليُفتح عند العنوان الجذري باسم robots.txt. وتقول صفحة Google إن الملف يجب أن يوضع في المجلد الأعلى للموقع.
هل تخزن الأداة ما أكتبه أو ترسله إلى خادم؟
لا. يُكتب الملف في متصفحك. ولا يُرسل ما تكتبه إلينا ولا يُخزَّن.
المصادر
- Google Search Central (باللغة الإنجليزية): كيف تفسر Google مواصفة robots.txt
- Google Search Central (باللغة الإنجليزية): مقدمة robots.txt
- Google Search Central (باللغة الإنجليزية): زواحف Google، ومنها Google-Extended
- RFC 9309 (باللغة الإنجليزية): بروتوكول استبعاد الروبوتات
- OpenAI (باللغة الإنجليزية): البوتات والزواحف، ومنها GPTBot
- Anthropic (باللغة الإنجليزية): الزواحف، ومنها ClaudeBot
- Perplexity (باللغة الإنجليزية): البوتات، ومنها PerplexityBot
- Common Crawl (باللغة الإنجليزية): CCBot
- Apple (باللغة الإنجليزية): About Applebot، ومنه Applebot-Extended
- Meta (باللغة الإنجليزية): زواحف الويب، ومنها meta-externalagent
آخر مراجعة للأرقام والنص: الثلاثاء، 30 جمادى الأولى 1448 بعد الهجرة.