معيار استبعاد الروبوتات

تم اقتراح هذا المعيار بواسطة مارتن كوستر،[1][2] عندما كان يعمل في نكسر ^{[الإنجليزية]}،[3] في فبراير 1994.[4]

بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج[5] ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل[6] ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم،[7] ومحرك بحث بيدو.[8]

بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي:

مثال 1
يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، الويلدكارد [الإنجليزية] (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات

User-agent: *
Disallow:

نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ

مثال 3
المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات (دليل):

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

مثال 4
المثال التالي لا يسمح بالتعامل مع ملف معين

User-agent: *
Disallow: /directory/file.html

لاحظ أن جميع الملفات الأخرى في الدليل المحدد سوف تتم معالجتها.

مثال 5
المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب

User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
Disallow: /

مثال 6
المثال التالي لاثنين من الروبوتات محدديين لعدم الدخول لدليل واحد محدد:

User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
User-agent: Googlebot
Disallow: /private/

ملاحظة: يمكن استخدام هذه الطريقة لمنع البوتات لمحركات البحث عند عمل تطوير موقع وحتى الإنتهاء من تطويره حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع

مثال 7

المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدامها بدون تأثير نهائيا:

# Comments appear after the "#" symbol at the start of a line, or after a directive
User-agent: * # match all bots
Disallow: / # keep them out

• زاحف الشبكة
• بوت إنترنت

• بوابة تقنية المعلومات
• بوابة إنترنت
• بوابة علم الحاسوب