رسالة الموقع
ما هو ملف robots.txt ؟ و كيفية إنشاؤه ؟

ما هو ملف robots.txt ؟ و كيفية إنشاؤه ؟

ملف robots.txt هو ملف نصي بسيط جدا , هدفه توجيه عناكب البحث في موقعك بحيث توضح لها اﻷجزاء و الصفحات المسموح لها بالزحف إليها , وكذلك الصفحات التي لا تريد أن تقوم عناكب البحث بالزحف إليها.

    
ولكن يجب ملاحظة عدة نقاط هامة جدا :
1- اﻷمر الطبيعي ( اﻹفتراضي ) هو أن تقوم عناكب البحث بالزحف إلى كل صفحات موقعك التي لها روابط مباشرة , فأنت لا تحتاج ملف robots.txt لكي تقوم عناكب البحث بأرشفة موقعك .. هي أصلا ستعمل على أرشفته و لكن فائدة ملف robots.txt هي توجيه هذه العناكب إلى الصفحات اﻷكثر أهمية , و منعها من أرشفة الصفحات منعدمة اﻷهمية مثل صفحة ( اتفاقية الاستخدام , سياسات الخصوصية , نماذج تسجيل العضويات و تسجيل الدخول ... إلخ )
            
2- ملف robots.txt لا علاقة له مطلقا بـ ترتيب موقعك ضمن نتائج البحث , فوجود ملف robots.txt من عدمه لن يؤثر في ترتيب موقعك كنتيجة أولى أو عاشرة أو ألف.
                
3- لا يستخدم ملف robots.txt بغرض منع محركات البحث من أرشفة صفحات معينة , ذلك ﻷنه في حالة وجود روابط وصفية لهذه الصفحات التي حجبتها عن طريق ملف robots.txt , ستظل محركات البحث قادرة على أرشفة هذه الصفحات باستخدام النص الوصفي و بدون زياراتها .. فالغرض اﻷساسي ( و الوحيد ) من ملف robots.txt هو عملية توجيه و إدارة لعناكب البحث لتقليل العبء على موقعك و ضمان أن عناكب البحث تركز على المحتوى اﻷهم و تهمل المحتوى الضعيف في موقعك.
    
في موضوع قبيلة بني " روبوتس " قلنا أن عناكب البحث تصنّف من الروبوتات الطيبة , وذلك ﻷنها تحترم تعليماتك و توجيهاتك كصاحب موقع فلا تقوم بالدخول إلى الصفحات أو المحتوى الذي حددته لها كمحتوى " محجوب " , أما الروبوتات الخبيثة فهي لن تحترم أصلا تعليمات ملف robots.txt و لمنعها من الوصول لمحتوى معين في موقعك تستطيع مراجعة مقالة كيفية اكتشاف زيارات الروبوتات و التعامل معها
    
        

ما هي أهمية إنشاء ملف robots.txt ؟

ملف robots.txt ليس إلزاميا , فعناكب محركات البحث إذا لم تجد ملف robots.txt في موقعك سوف تقوم بالزحف إلى صفحات موقعك و أرشفتها بشكل طبيعي , ولكن وجود ملف robots.txt يساعدك أنت أولا في تحليل بنية موقعك و توضيح اﻷجزاء و الصفحات التي تريد إهمالها من نتائج البحث , كذلك عملية توجيه عناكب البحث من خلال ملف robots.txt سوف تجعل محتوى موقعك اﻷعلى أهمية يحصل على اهتمام أكبر من عناكب البحث نظرا ﻷنها لن تضيع الموارد في الزحف و الوصول للمحتوى المهمل الذي قمت بتحديده لها و منعها من الزحف إليه.

    
    

مما يتكون ملف robots.txt ؟

ما هو ملف robots.txt ؟ و كيفية إنشاؤه ؟
كما قلنا ملف robots.txt هو ملف نصي بسيط جدا , و يتكون من 3 عناصر أساسية كما يلي :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
    

1- User-agent

هنا توضح الروبوت ( برنامج الزحف ) الذي تريد توجيه اﻷوامر له , فمثلا قد تريد منع محرك البحث جوجل من أرشفة بعض صفحات موقعك , ولكنك تريد السماح لمحرك بحث Bing بالوصول إليها , و إن كان هذا اﻷمر مستبعد و في الغالب تكون القواعد التي ستضعها عامة و موجهة ﻷي روبوت سواء كان جوجل أو بينج أو ياندكس أو غيرهم , و هنا نستخدم علامة * التي تعني " كل "
    

2- Disallow

أمر المنع من الوصول , يمكنك أن تمنع الروبوت من الوصول لصفحة محددة , عدة صفحات أو تمنعها من الوصول إلى مجلد كامل و بكل محتوياته و مجلداته الفرعية
    

3- Allow

اﻷمر بالسماح للوصول لمحتوى معين , كما قلنا فإن عناكب البحث في اﻷصل تستطيع الوصول ﻷي محتوى في موقعك طالما أن له رابط مباشر , و بالتالي هي لا تحتاج لهذا اﻷمر Allow ﻹنها أصلا Allowed 😅
لكن في حالة أننا قمنا بمنع عناكب البحث من الوصول إلى مجلد معين بكل محتويات و مجلداته الفرعية , و نريد استثناء بعض محتويات هذا المجلد الممنوع , هنا نلجأ لاستخدام اﻷمر Allow
    
لو أردنا تلخيص و شرح اﻷوامر الموجودة في المثال السابق :
1- اﻷوامر التالية موجهة لـ * ( كل ) الروبوتات و عناكب البحث
2- نمنعها من الوصول للمجلد /wp-admin/ بكل محتوياته و مجلداته الفرعية
3- نسمح لها بالوصول إلى الصفحة index.php الموجودة في مجلد /wp-admin/ الذي قمنا بمنعها منه
        
باﻹضافة للـ 3 أوامر السابقة ( والتي تتكرر بعدد مرات القواعد التي تريد تحديدها ) يمكن أن يتضمن ملف robots.txt أيضا رابط خريطة الموقع sitemap.xml كما في المثال التالي :User-agent: *
Disallow: /account/
Disallow: /p/privacy/
Disallow: /p/terms/
Disallow: /contact/
Disallow: /signIn/
Disallow: /signUp/

Sitemap:
        
و هذا يوفر عليك عناء إرسال رابط خريطة الموقع يدويا إلى محركات البحث , وكذلك لن تحتاج إلى وضع رابط ظاهر في موقعك لخريطة الموقع , يكفي فقط أن تضع رابط الخريطة في ملف robots.txt و ستتمكن محركات البحث من تحميل خريطة الموقع و الزحف إلى الروابط الموجودة بها.
    

كيف يمكن إنشاء ملف robots.txt ؟

ﻹنشاء ملف robots.txt تحتاج فقط ﻷي محرر نصوص , و تقوم بكتابة اﻷوامر و التعليمات بحسب ما يناسب موقعك , ثم تقوم برفع الملف في مجلد موقعك الرئيسي , مع ملاحظة أن اسم الملف يجب أن يكون "robots.txt" و أن يتم رفع الملف داخل المجلد الرئيسي لموقعك و ليس داخل أي من المجلدات الفرعية.

    
    
ختاما
نعيد التأكيد على أن ملف robots.txt لن يضمن منع محركات البحث أو غيرها من أرشفة أي جزء أو صفحة في موقعك , هو يستخدم ( فقط ) بغرض توجيه عناكب البحث و تخفيف العبء من زياراتها المتكررة على موقعك .. أما لضمان منع محركات البحث من أرشفة أي صفحة من صفحات موقعك فعليك استخدام كود الميتا التالي :
<meta name="robots" content="noindex" />
فهذا الكود يُعطي اﻷمر الصريح لمحركات البحث بعدم أرشفة هذه الصفحة.
مشاركات ذات صلة