ملف الربوت تكست robots.txt وتوجيه عناكب البحث
شرح طريقة وكيفيه عمل ملف الربوت تكست robots.txt وتوجيه عناكب البحث
ملف الربوت تكست robots.txt هو اول ملف تقراه عناكب محركات البحث عند ارشفة المواقع
ملف الربوت تكست robots.txt هو اول ملف تقراه عناكب محركات البحث عند ارشفة المواقع
لانه يعتبر التصاريح التى تعطيها لعناكب محركات البحث فهناك صفحات تحب ان تؤرشفها محركات البحث
وصفحات لا تحب لاحد الاطلاع عليها ايا كان ما تحتوية هذه الصفحات
هذا الملف يعمل بامرين وهما
Disallow حجب
Allow سماح
عناكب محركات البحث المشهورة هي وهذه
عناكب Google
User-agent: Mediapartners-Google*Google
User-agent: googlebot
MSN
User-agent: MSNBOT
MSN2
User-agent: msnbot-media/1.0
ALEXA
User-agent: alexa_site_report
YAHOO
User-agent: slurp
هذا الملف يعمل بامرين وهما
Disallow حجب
Allow سماح
عناكب محركات البحث المشهورة هي وهذه
عناكب Google
User-agent: Mediapartners-Google*Google
User-agent: googlebot
MSN
User-agent: MSNBOT
MSN2
User-agent: msnbot-media/1.0
ALEXA
User-agent: alexa_site_report
YAHOO
User-agent: slurp
يوضع الملف في الرئسيه لان العناكب تبحث عن الربوت تكست في مسار robots.txt
ومن خلاله تتبع المسار الذي مراد حجبه تقوم بحذف المسار الذي حجبته ومنعته من الزحف وتضع مكانه “/robots.txt”
كيفيه عمل ملف الربوتس واعداده لموقعك لان العناكب قبل ان تذحف الي صفحات موقعك تتحق من وجد ملف الربوتس
اجعل اسمه هكذا robots.txt وليس هكذا Robots.TXT
1 كل الموقع متاح لجميع العناكب User-Agent:*Allow
2 كل الموقع محجوب عن جميع العناكبUser-agent: * Disallow:
3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقعUser-agent: * Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php Disallow: /vb/includes
4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب
يوجد عناكب تتجاهل الربوتس تدخل موقعك تبحث عن ثغرات امنيه وايميلاتUser-agent: googlebot Disallow: / User-agent: * Allow:
5 حجب جميع محركات البحث ماعادا محركات معينةUser-agent: googlebot
Allow: / User-agent: MSNBOT
Allow: / User-agent: * Disallow:
6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكنUser-agent: googlebot Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php Disallow: /vb/includes
User-agent: * Allow:
ومن خلاله تتبع المسار الذي مراد حجبه تقوم بحذف المسار الذي حجبته ومنعته من الزحف وتضع مكانه “/robots.txt”
كيفيه عمل ملف الربوتس واعداده لموقعك لان العناكب قبل ان تذحف الي صفحات موقعك تتحق من وجد ملف الربوتس
اجعل اسمه هكذا robots.txt وليس هكذا Robots.TXT
1 كل الموقع متاح لجميع العناكب User-Agent:*Allow
2 كل الموقع محجوب عن جميع العناكبUser-agent: * Disallow:
3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقعUser-agent: * Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php Disallow: /vb/includes
4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب
يوجد عناكب تتجاهل الربوتس تدخل موقعك تبحث عن ثغرات امنيه وايميلاتUser-agent: googlebot Disallow: / User-agent: * Allow:
5 حجب جميع محركات البحث ماعادا محركات معينةUser-agent: googlebot
Allow: / User-agent: MSNBOT
Allow: / User-agent: * Disallow:
6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكنUser-agent: googlebot Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php Disallow: /vb/includes
User-agent: * Allow:
المصدر – عرب سيو
