الرئيسية المنتدى مركز رفع الصور صفحتنا على الفيس قناة اليوتيوب صفحتنا على تويتر واتس اب قوانين المنتدى
منتدى مجمع التطوير    

العودة   منتدى مجمع التطوير > منتدى تطوير المواقع > المجـلات والبوابات الرئيسـية للمواقـع

الملاحظات

المجـلات والبوابات الرئيسـية للمواقـع يهتم بشروحات وتصاميم بوابات ومجلات المواقع الرئيسية كالووردبريس وجوميا ومراكز التخزين والرفع

آخر 10 مشاركات التقليد المذموم (الكاتـب : admin - مشاركات : 0 - المشاهدات : 116 - الوقت: 06:44 PM - التاريخ: 09-06-2021)           »          الخداع (الكاتـب : admin - مشاركات : 0 - المشاهدات : 84 - الوقت: 06:43 PM - التاريخ: 09-06-2021)           »          إعلانات شركة Admaven (الكاتـب : سنبول - مشاركات : 0 - المشاهدات : 210 - الوقت: 04:20 PM - التاريخ: 08-26-2021)           »          جدار روحك يريد أن ينقض (الكاتـب : admin - مشاركات : 0 - المشاهدات : 202 - الوقت: 11:27 PM - التاريخ: 08-23-2021)           »          سعر الذهب في مصر وعالميا صباح اليوم الخميس 12 أغسطس 2021 (الكاتـب : admin - مشاركات : 0 - المشاهدات : 251 - الوقت: 02:58 PM - التاريخ: 08-12-2021)           »          تأملت والدنيا (الكاتـب : admin - مشاركات : 0 - المشاهدات : 301 - الوقت: 10:54 PM - التاريخ: 08-03-2021)           »          وكن راضيا (الكاتـب : admin - مشاركات : 0 - المشاهدات : 285 - الوقت: 10:54 PM - التاريخ: 08-03-2021)           »          طوبا لمن عاش في هذه الدنيا غريبا (الكاتـب : admin - مشاركات : 0 - المشاهدات : 304 - الوقت: 10:53 PM - التاريخ: 08-03-2021)           »          لا تشكُ للناسِ (الكاتـب : admin - مشاركات : 0 - المشاهدات : 292 - الوقت: 10:52 PM - التاريخ: 08-03-2021)           »          العملات النادرة (الكاتـب : admin - مشاركات : 0 - المشاهدات : 280 - الوقت: 10:51 PM - التاريخ: 08-03-2021)

إضافة رد
 
أدوات الموضوع انواع عرض الموضوع
  #1  
قديم 05-31-2021, 12:30 PM
الصورة الرمزية admin
admin 
✯ ادارة المنتدى ✯
 
تاريخ التسجيل: Mar 2021
الدولة: مصر
المشاركات: 733
معدل تقييم المستوى: 10
admin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to behold


4 ملف ال robots.txt وتوجيه عناكب محركات البحث لموقعك

 

ملف ال robots.txt وتوجيه عناكب محركات البحث لموقعك
بسم الله الرحمن الرحيم

مقدمة:
سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس بتركيز .

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده

بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:

سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية https://www.mojam3.com قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف https://www.mojam3.com/robots.txt, وسنفترض مثلا انه وجد به الكود التالى


User-agent: * Disallow: /



هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث

User-agent: *

وهذا الكود يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد

لاحظ النقاط التالية:
  1. بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
  2. ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها
سننتقل الان الى الجزء الاهم فى هذا الشرح فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل http://www.example.com/robots.txt
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"

[RIGHT]مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt
وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT

ماذا سأضع بداخل ملف الـ robots.txt ؟

ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/

بواسطتة هذا الكود قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها

لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده



User-agent: * Disallow: /
بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع

User-agent: * Disallow:

هذا الكود يسمح لجميع العناكب بالدخول وارشفة جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا


User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

بواسطة هذا الكود منعنا جميع العناكب من زيارة اقسام معينه من الموقع


User-agent: BadBot Disallow: /



يستخدم هذا الكود لمنع عناكب احد محركات البحث

User-agent: Google Disallow: User-agent: * Disallow: /



هذا الكود يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون
User-agent: * Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html



وبالطبع هذا الكود لأستثناء الملفات كما هو ظاهر




الموضوع الأصلي : ملف ال robots.txt وتوجيه عناكب محركات البحث لموقعك || الكاتب : admin || المصدر : منتدى مجمع التطوير

 


التوقيع

رد مع اقتباس
قديم 07-21-2021, 10:59 AM   #2
Arb.chat
عضو جديد
 
تاريخ التسجيل: Jul 2021
الدولة: في عرب شات
المشاركات: 1
معدل تقييم المستوى: 0
Arb.chat is on a distinguished road
افتراضي

مشكور ي غالي علي هذه المعلومات
كفيت و اوفيت
Arb.chat غير متواجد حالياً
 
رد مع اقتباس
قديم 07-21-2021, 01:24 PM   #3
admin
✯ ادارة المنتدى ✯
 
الصورة الرمزية admin
 
تاريخ التسجيل: Mar 2021
الدولة: مصر
المشاركات: 733
معدل تقييم المستوى: 10
admin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to beholdadmin is a splendid one to behold


افتراضي

 
اقتباس:المشاركة الأصلية كتبت بواسطة arb.chat مشاهدة المشاركة
مشكور ي غالي علي هذه المعلومات
كفيت و اوفيت
اعزك الله يا كريم

التوقيع

admin غير متواجد حالياً
 
رد مع اقتباس
إضافة رد

مواقع النشر (المفضلة)

أدوات الموضوع
انواع عرض الموضوع

تعليمات المشاركة
لا تستطيع إضافة مواضيع جديدة
لا تستطيع الرد على المواضيع
لا تستطيع إرفاق ملفات
لا تستطيع تعديل مشاركاتك

BB code is متاحة
كود [IMG] متاحة
كود HTML معطلة

الانتقال السريع

المواضيع المتشابهه
الموضوع كاتب الموضوع المنتدى مشاركات آخر مشاركة
دليلك لبناء الباك لينك Backlink لموقعك بطريقة صحيحة admin المجـلات والبوابات الرئيسـية للمواقـع 2 07-26-2021 10:15 PM
[شرح] كيف تحمي موقعك من ثغرة xss الادارة كريم برمجة الويب web development 2 06-06-2021 02:49 AM
[شرح] حماية موقعك | كيفية حماية التدوينات من السرقة الادارة كريم برمجة الويب web development 0 05-29-2021 03:28 AM
[شرح Frontpage] تصميم موقعك الخاص بستخدام فرونت بيج admin برامج Microsoft Office 0 05-18-2021 06:05 PM

 

موقع ومنتديات مجمع التطوير موقع يختص بالبرمجة والبرامج المساعدة  للتصاميم والأدوات المساعدة ,مع تقديم العون والمساعدة لكل مبرمج من خلال الأقسام المحددة , كما نعرض الأعمال الجاهزة والمفتوحة المصدر. ويهتم أيضا بالتصاميم والجرافيك وبرامجها وعرض التصاميم وملحقات التصاميم والأدوات المساعدة .كما نتمنى التوفيق لنا ولكم مع أجمل تحية مقدمة منا. 

  • الرئــيســية

  • الــمنــتـدى

  • مركز الرفع

  • التسـجـيل

  • قوانين المنتدى

  • التعـلـيمـات

  • الترقيات

check pagerank

 Flag Counter

كلمة الإدارة  منتدى مجمع التطوير غير مسئول عن أي طرح من الأعضاء فتلك الموضوعات تعبر عن رأى صاحبها ومن خلال وضع قوانين وتعليمات المشاركة بالمنتدى نسعى جاهدين لتطبيق تلك التعليمات. والمنتدى أيضا غير مسئول عن أي اتفاق مالي أو تجارى بين الأعضاء وبذلك تعد هذه الصيغة إخلاء مسئولية من جانب إدارة المنتدى وفقنا ووفقكم الله لما فيه الخير
 
الساعة الآن 04:19 AM


Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
جميع الحقوق محفوظة لمجمع التطوير