السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟

إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
 

User-agent: *
Disallow:

إذا أردت محرك بحث معين مثل قوقل اكتب:
 

User-agent: googlebot

إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:
 

Disallow: email.htm

إذا أردتها أن تمنعها من مجلد كامل.. اكتب:
 

Disallow: /cgi-bin/

هذه تمنع كل المحركات من تصفح موقعك بالكامل:
 

User-agent: *
Disallow: /

هذه تمنع محرك بحث معين من تصفح موقعك:
 

User-agent: Roverdog
Disallow: /

آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:
 

User-agent: googlebot
Disallow: cheese.htm

و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:
 

Disallow: bob #comment

لاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)

كل ما عليك.. وضع الكود و حفظه! وفقكمالله للخير