مختبر robots.txt: تحقق من عنوان مقابل قواعد الملف

طريقة الاستخدام

ألصق ملف robots.txt في ملف robots.txt.
اكتب المسار أو العنوان الكامل في المسار أو العنوان، واسم الزاحف في اسم الزاحف.
اقرأ مسموح لهذا الزاحف، ثم السطر في القاعدة التي تحسم لترى السبب.

كيف يُتخذ القرار

تختار الأداة المجموعة أولاً. تشكّل أسطر user-agent التي تسمّي الزاحف، مقارنةً دون اعتبار لحالة الأحرف، مجموعة واحدة. فإن لم تسمّه أي منها، استُخدمت مجموعة كل الزواحف (النجمة) (RFC 9309، القسم 2.2.1).

داخل تلك المجموعة تُقارن كل قاعدة يطابق نمطها العنوان من أوله. ويسود النمط الأطول، وتسود قاعدة السماح عند التعادل (RFC 9309، القسم 2.2.2). فإن لم تطابق أي قاعدة، فالعنوان مسموح به. وملف /robots.txt نفسه مسموح به دائماً.

النجمة (*) في النمط تطابق أي نص، والدولار ($) في نهاية النمط يُنهي المطابقة.
يُفكّ ترميز الأحرف والأرقام والمحارف - . _ ~ قبل المقارنة، فـ %7E و~ متطابقان.
التعليقات تبدأ بعلامة #، والقيمة الفارغة لـ Allow أو Disallow تُتجاهل.

حيث تتفق Google وRFC

تصف صفحة robots.txt لدى Google القواعد نفسها: تُستخدم المجموعة ذات أكثر اسم زاحف تحديداً مطابقاً، ويسود أكثر القواعد تحديداً بحسب طول مساره، وتسود القاعدة الأقل تقييداً عند التعارض. تتبع الأداة RFC حين تختلف الصياغتان، ولا تجد فرقاً في هذه القواعد.

تطابق Google المسار وسلسلة الاستعلام. لا تقول RFC هل سلسلة الاستعلام جزء من المسار؛ وتطابقها هذه الأداة، كما تفعل أمثلة صفحة Google.
لا تقول RFC ماذا تعني القيمة الفارغة. تتجاهلها Google، وتتجاهلها هذه الأداة أيضاً.

مثال محسوب: ثلاثة عناوين على ملف واحد

الملف الافتراضي فيه مجموعة لكل الزواحف ومجموعة لـ Googlebot. يتبع Googlebot مجموعته وحدها، لذلك يُحجب /drafts/ عنه ولا يُحجب عن الزواحف الأخرى. يبيّن الجدول النتيجة لثلاثة طلبات.

السطر 9 يحجب /private/ عن Googlebot. والسطر 5 قاعدة سماح أطول من /private/ الممنوع، لذلك يسود مع press-kit.html.

العنوان	الزاحف	الحالة	القاعدة التي تحسم	المجموعة السارية
/private/page.html	Googlebot	محجوب	السطر 9: Disallow: /private/	السطر 7: User-agent: Googlebot
/private/press-kit.html	Bingbot	مسموح	السطر 5: Allow: /private/press-kit.html	السطر 2: User-agent: *
/drafts/new.html	Googlebot	محجوب	السطر 8: Disallow: /drafts/	السطر 7: User-agent: Googlebot

الأسئلة الشائعة

هل تفحص الأداة اسم المضيف في العنوان الكامل؟

لا. يُستخدم المسار وسلسلة الاستعلام فقط. وإن كانت في الملف قواعد تسمي مضيفاً آخر، فلا تفحص الأداة هل تسري على العنوان الذي كتبته.

لماذا يُسمح دائماً بملف robots.txt نفسه؟

تقول RFC 9309 إن العنوان /robots.txt مسموح به ضمناً، فيستطيع الزاحف أن يقرأ القواعد دائماً. تتبع الأداة هذه القاعدة، وتعرض النتيجة بوصفها ملف robots.

ماذا يحدث حين تطابق قاعدتان العنوان نفسه؟

تحسم القاعدة ذات النمط الأطول، لأنها الأكثر تحديداً. فإن تساوى النمطان في الطول، حسمت قاعدة السماح.

لماذا لا يكون للقاعدة ذات القيمة الفارغة أثر؟

تسمح صياغة RFC بقيمة فارغة لكنها لا تقول ماذا تعني. تقول صفحة Google إن الزواحف تتجاهل القاعدة التي لا مسار فيها، وتفعل هذه الأداة الشيء نفسه.

هل يُرسل ملفي إلى خادم؟

لا. يُقرأ الملف في متصفحك. لا يُرسل ما تلصقه إلينا ولا يُخزَّن.

هل يعمل ملف أطول من 500 كيبيبايت؟

لا يُقرأ إلا أول 500 كيبيبايت، كما تقرؤه Google. تقول الأداة ذلك حين يكون الملف أطول، فتعرف هل ستُتجاهل قاعدة في آخره.

المصادر

آخر مراجعة للأرقام والنص: الثلاثاء، 30 جمادى الأولى 1448 بعد الهجرة.

النتيجة