طريقة انشاء ملف الربوت robots.txt

[حلم العرب]

السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟

إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:


User-agent: *
Disallow:
إذا أردت محرك بحث معين مثل قوقل اكتب:


User-agent: googlebot

إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:


Disallow: email.htm
إذا أردتها أن تمنعها من مجلد كامل.. اكتب:


Disallow: /cgi-bin/هذه تمنع كل المحركات من تصفح موقعك بالكامل:


User-agent: *
Disallow: /
هذه تمنع محرك بحث معين من تصفح موقعك:



User-agent: Roverdog
Disallow: /آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:



User-agent: googlebot
Disallow: cheese.htm
و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:



Disallow: bob #commentلاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)

كل ما عليك.. وضع الكود و حفظه! وفقكمالله للخير