تعلم كيفية تحسين فهرسة موقع ووردبريس من خلال ملف robots.txt
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يتم وضعه على خوادم الويب لتوجيه زوار محركات البحث حول كيفية فهم محتوى موقع الويب. يستخدم هذا الملف لتحديد القواعد التي يجب على زوار محركات البحث اتباعها أثناء فهرسة الموقع وتوجيه سلوك محركات البحث وتحديد القواعد التي يجب عليها اتباعها عند فهرسة الموقع.
عندما يزور محرك البحث موقع ويب، يبحث عن ملف robots.txt في الجذر الرئيسي للموقع (مثل http://www.example.com/robots.txt). إذا وجد الملف، فإنه يحتوي على تعليمات حول الصفحات أو الأقسام التي يمكن أو لا يمكن لمحرك البحث فهرستها.
مثلاً، يمكن لملف robots.txt أن يحتوي على تعليمات تمنع محرك البحث من فهرسة بعض الصفحات أو مجلدات معينة على الموقع. يمكن أن يكون له أيضاً تعليمات تحديد ما إذا كان محرك البحث مسموحًا بفهرسة محتوى معين أو لا.
أين يوجد ملف robots.txt؟
يجب أن يكون الملف في المجلد الرئيسي root لموقع ووردبريس الخاص بك، إذا لم يكن موجودًا، فقم بإنشاء ملف يسمى robots.txt بواسطة FTP أو في لوحة إدارة الملفات الخاصة بك يقوم محرك البحث بزيارة موقع ويب، يبحث تلقائيًا عن هذا الملف في الجذر الرئيسي.
للوصول إلى الملف robots.txt على موقع معين، يمكنك زيارة الرابط التالي:
http://www.example.com/robots.txt
حيث يجب استبدال العنوان "www.example.com" بعنوان الموقع الفعلي الذي ترغب في فحص ملف robots.txt الخاص به.
كيف تستخدم ملف robots.txt؟
يستخدم ملف robots.txt لتوجيه سلوك محركات البحث على الموقع الخاص بك. وإذا فتحت هذا الملف ستجد أنه يحتوي على تعليمات تخبر محركات البحث حول الصفحات أو الأقسام التي يجب أو لا يجب فهرستها.
إليك كيفية استخدام ملف robots.txt:
1. افتح الملف في محرر نصوص: يمكنك استخدام أي محرر نصوص لفتح ملف robots.txt، مثل Notepad على Windows أو TextEdit على macOS.
2. اكتب فيه القواعد المطلوبة: يمكنك إضافة تعليمات مختلفة إلى ملف robots.txt بناءً على احتياجاتك. وتكون الصيغة الأساسية للكتابة على النحو التالي:
User-agent: [ *اسم محرك البحث أو ]
Disallow: [ المسار الذي لا يجب فهرسته من قبل محرك البحث]
ملاحظة: تعني * هنا أننا نريد من جميع محركات البحث أن تزحف على الموقع وتفهرسه
3. احفظ التغييرات التي أضفتها على الملف: بمجرد أن تقوم بتحرير ملف robots.txt، قم بحفظ التغييرات وتأكد من أن الملف يتم وضعه في الجذر الرئيسي لموقعك على الخادم.
4. تحقق من صحة الملف: يمكنك فحص ما إذا كان ملف robots.txt الخاص بك صحيحًا عبر أدوات تحليل ملف robots.txt المتاحة عبر الإنترنت مثل Robots.txt Generator by SEOptimer أو Google Search Console أو Varvy SEO Tool أو غيرها لضمان عدم وجود أي مشكلات فيه تؤثر على فهرسة موقعك كما يمكنك أيضًا استخدام أدوات لوحة التحكم في محركات البحث لفحص كيفية تأثير ملف robots.txt على موقعك.
وتذكر أن تكون حذرًا عند تحديث ملف robots.txt، حيث يمكن أن يؤدي وضع قواعد غير صحيحة إلى تأثير غير متوقع على فهرسة محركات البحث لموقعك.
مثال على ملف robots.txt
وفي الختام ننوه لأن استخدام الملف في الواقع بسيط للغاية ويساعدنا على جعل جميع محركات البحث تزحف إلى موقعنا وتفهرسه بسهولة وبساطه ويساعدنا على تحديد المواضع التي نسمح أو لا نسمح لمحركات البحث بالوصول لها على موقعنا كمجلد الإضافات على سبيل المثال أو مجلدات ملفات نظام ووردبريس الأساسية وما إلى ذلك فهذه لا داعي لأن تصل لها محركات البحث، ومن الأفضل لنا حظرها ومنعها من الفهرسة.
