هل سمعت يومًا باسم ملف robots.txt أو قمت بإضافة ملف robots.txt مخصص بك في مدونة Blogger الخاصة بك. سنناقش هنا ماهية ملف robots.txt وكيفية إنشاء ملف robots.txt مخصص وإضافته في بلوجر. هذا الملف يتعامل مع الزحف وفهرسة الى مدونتك مما يساعد محركات البحث في الوصول لموقعك وتحسين الـ ( SEO )، لذلك تابع معنا هذا المقال.
في بلوجر ، لديك قسم يسمى تفضيلات البحث التي تغطي علامات Meta الخاصة بالمدونات والأخطاء / إعادة التوجيه والزحف والفهرسة. هناك يمكنك إدارة عرض مدوناتك باستخدام محركات البحث أيضاً للحفاظ على مدونة صحية تحتاج إلى تخصيص تفضيلات البحث في مدونتك بشكل فعال. وسنعمل ان شاء الله على طرح مقال حول كيفية استخدام عمليات إعادة التوجيه المخصصة في Blogger.
في حالة ما إذا كان لديك روابط محذوف او معطل في مدونتك أو إذا قمت بتغيير عنوان URL لنشر المدونة الخاصة بك ، فيمكنك الاستفادة من عمليات إعادة التوجيه المخصصة في Blogger.
ولكن مشاركة اليوم سنتحدث فيها عن ملف robots.txt واستخدام إضافة ملف robots.txt مخصص في بلوجر.
ما هو ملف robots.txt؟
محرك البحث مثل Google يرسل العناكب أو الزواحف مهما كان نوع البرنامج الذي ينتقل في جميع أنحاء الويب. عندما تصل برامج الزحف أو العناكب عبر الويب إلى موقعك ، فإنها تنتقل أولاً إلى ملف robots.txt للتحقق من أي بروتوكول لاستبعاد برامج الروبوت قبل الزحف إلى صفحاتك وفهرستها.Robots.txt هو ملف نصي عادي يتوفر على جميع مواقع الويب التي يستخدمها مسؤول الموقع لتقديم المشورة إلى برامج الزحف هذه حول الوصول إلى عدة صفحات على موقع الويب. لن يتم الزحف إلى الصفحات المحظورة في ملف robots.txt وفهرستها في نتائج البحث. لكن كل تلك الصفحة قابلة للعرض علانية على البشر العاديين.
ملف Robots.txt الافتراضي في بلوجر
ستحتوي كل مدونة في Blogger على ملف robots.txt افتراضياً ويبدو كالتالي. يمكنك التحقق من ملف robots.txt الخاص بالمدونات عن طريق إضافة /robots.txt بجوار اسم المجال الخاص بك. (http://yoursite.blogspot.com/robots.txt)User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://yoursite.blogspot.com/feeds/posts/default?orderby=UPDATED
إذن ما هذه؟
كما ترون أعلاه ، يحتوي ملف robots.txt الافتراضي على عدد قليل من الأشياء مثل وكيل المستخدم وشركاء الوسائط وجوجل وكيل المستخدم: * ، عدم السماح وخريطة الموقع. إذا لم تكن على علم بها ، فإليك التفسير.
أولاً تحتاج إلى معرفة عن وكيل المستخدم وهو وكيل برنامج أو برنامج عميل يعمل بالنيابة عنك.
Mediapartners-Google - شريك الوسائط - Google هي وكيل المستخدم لبرنامج Google adsense الذي يستخدم في خدمة الإعلانات ذات الصلة بشكل أفضل على موقعك استناداً إلى المحتوى الخاص بك. لذلك إذا لم تسمح بذلك ، فلن تتمكن من رؤية أي إعلانات على صفحاتك المحظورة.
User-agent:* - حتى نعرف جميعاً ما هو وكيل المستخدم ، فما هو وكيل المستخدم: *. ينطبق وكيل المستخدم الذي تم وضع علامة عليه بعلامة النجمة (*) على جميع برامج الزحف والروبوتات التي يمكن أن تكون روبوتات Bing أو برامج زحف تابعة أو أي برنامج عميل يمكن أن يكون.
Disallow: بإضافة عدم السماح ، فإنك تخبر الروبوتات بعدم الزحف إلى الصفحات وفهرستها. أسفل وكيل المستخدم: * يمكنك أن ترى Disallow: / search مما يعني أنك ترفض نتائج بحث مدونتك بشكل افتراضي. أنت لا تسمح لبرنامج الزاحف بالدخول إلى الدليل / البحث الذي يأتي بعد اسم المجال الخاص بك. هذه صفحة بحث مثل http://yoursite.blogspot.com/search/label/yourlabel لن يتم الزحف إليها ولن تتم فهرستها أبدًا.
Allow - السماح: / يشير ببساطة إلى أو السماح لمحركات البحث على وجه التحديد بالزحف إلى تلك الصفحات.
Sitemap:: يساعد ملف Sitemap على الزحف إلى جميع صفحاتك التي يمكن الوصول إليها وفهرستها ، وهكذا في ملف robots.txt الافتراضي ، يمكنك رؤية أن مدونتك تسمح على وجه التحديد لمواقع الزحف بملفات Sitemap. هناك مشكلة في خريطة موقع Blogger الافتراضية ، لذا تعرف على كيفية إنشاء خريطة موقع في بولجر وإخطار محركات البحث.
ما الصفحات التي يجب عدم السماح بها في Blogger؟
هذا السؤال صعب بعض الشيء ولا يمكننا التنبؤ بالصفحات التي يجب السماح بها وما الذي لا يسمح به في مدونتك. يمكنك عدم السماح لصفحات مثل سياسة الخصوصية والشروط والأحكام وروابط الشركات التابعة المخفية والعلامات وكذلك نتائج البحث ، وصفحة تحويل الروابط ويعتمد ذلك عليك في النهاية. نظرًا لأنك تحصل على بعض الزيارات المعقولة من نتائج البحث ، لا يوصى بعدم السماح بصفحة التصنيفات وصفحة سياسة الخصوصية وصفحة TOS.كيفية عدم السماح لصفحات في Blogger باستخدام ملف robots.txt
يمكنك عدم السماح لمحركات البحث بالزحف إلى صفحات أو منشورات معينة وفهرستها في Blogger باستخدام ملف robots.txt الخاص بك.ليس لدينا سبب لحظر محركات البحث في أي منشورات معينة ، وإذا كنت ترغب في ذلك ، فما عليك سوى إضافة Disallow: /year/month/your-post-url.html في ملف robots.txt الخاص بك. هذا هو نسخ عنوان URL للمشاركة بجوار اسم المجال الخاص بك وإضافته في ملف robots.txt الخاص بك.
نفس ما ستحتاج إلى القيام به لعدم السماح بأي صفحات معينة. انسخ عنوان URL للصفحة بجوار اسم المجال الخاص بك وأضفه مثل Disallow: /p/your-page.html في ملف robots.txt.
ملف robots.txt الأفضل والموصى به لبرنامج Blogger
استخدم ملف robots.txt المخصص فقط إذا كنت متأكدًا بنسبة 100٪ مما تفعله. الاستخدام غير الصحيح لـ robots.txt المخصص يمكن أن يضر بتصنيفات موقعك. للحصول على أفضل النتائج ، يوصى باستخدام robots.txt الافتراضي في Blogger وهو ما يعمل بشكل جيد. لكن غيِّر خريطة الموقع الافتراضية في ملف robots.txt وأضف ملف خريطة الموقع المخصص لـ Blogger.كيفية إنشاء ملف robots.txt مخصص وإضافته في Blogger
في Wordpress ، يتعين علينا إنشاء ملف robots.txt في المفكرة وتحميله إلى دليل جذر الويب. ولكن هنا في Blogger يمكنك إضافة ملف robots.txt بسهولة من لوحة معلومات المدونة الخاصة بك. لإضافة ملف robots.txt مخصص ، ما عليك سوى :1- تسجيل الدخول إلى ملفك الشخصي في Blogger وتحديد مدونتك.
2- انتقل الآن إلى لوحة القيادة >> الإعدادات >> تفضيلات البحث ويمكنك مشاهدة ملف robots.txt المخصص في قسم الزحف والفهرسة.
3- انقر فوق تحرير وتمكين محتوى ملف robots.txt المخصص وإضافة ملف robots.txt الخاص بك
بمجرد الانتهاء انقر فوق حفظ التغييرات.
الآن للتحقق من ملف robots.txt ، قم فقط بإضافة /robots.txt في نهاية عنوان URL لمدونتك ويمكنك مشاهدة ملف robots.txt المخصص. بعد إضافة ملف robots.txt المخصص ، يمكنك إرسال مدونتك إلى محركات البحث. تعرف على كيفية إرسال مدونتك إلى Google و Bing و Yahoo.
نأمل أن توضح لك هذه المشاركة بوضوح حول ملف robots.txt وكيفية إنشاء ملف robots.txt مخصص وإضافته في Blogger. يرجى مشاركتها وإذا كانت لديك أي شكوك أخرى على robots.txt فلا تتردد في التعليق أدناه.
إرسال تعليق