السلام عليكم ورحمة الله وبركاتة
أتطرق اليوم الي موضوع لم اعرفه من قبل وان وكان اي شخص من الاعضاء في سوالف له خبرته فيه يشرح لنا ما زاد به علمه
الشرح الذي كسبته وانا احوس بالموضوع
وهو ...
لكي تمنع محركات البحث الأخرى من البحث في موقعك، ضع ملف robots.txt التالي في موقعك
عندي دخول الريبوتس في موقعك يتجه لملف txt الذي يشير إلى robots.txt يوضع في مكان على الموقع .ولن يتم عرض اي محتوى بالموقع الا بعد التدقيق على محتوى ملف txt ان وجد اي من ملفات يمنع عرضها في محركات البحث مثلا بعض المواقع يمنع الريبوتس بالبحث داخل مجلد admin او غيرها منعاً للاختراق والعبث
التفاصيلكود PHP:
User-Agent: *
Disallow: /
http://www.google.com/intl/ar/remove...emove_snippets
بحث تفصيلي
http://www.robotstxt.org/wc/norobots.html
بعض المواقع الي مركبه robots للوصلات مثلاً
http://www.google.com/robots.txt
http://www.whitehouse.gov/robots.txt
http://www.w3.org/robots.txt
http://www.ebay.com/robots.txt
http://www.yoursite.com/robots.txt
http://www.thinkhost.com/robots.txt
http://www.domain.com/robots.txt
http://www.mrunix.net/robots.txt
تقبلو أحترماتي