رسالة الموقع
كيفية اكتشاف زيارات الروبوتات و التعامل معها

كيفية اكتشاف زيارات الروبوتات و التعامل معها

بعد ما عرفنا المقصود بالزيارات المزيفة أو الـ Bot traffic و اﻷغراض المختلفة للروبوتات , اللي منها طيبة و منها خبيثة , هنتكلم النهارده عن كيفية اكتشاف زيارات الروبوتات الخبيثة , و هنشوف نماذج لـ مصيدة_الروبوتات
أولا خلينا نوضح إننا قصاد مهمتين , اﻷولى التفرقة بين زيارات الروبوتات بصفة عامة و الزيارات الحقيقية , و المهمة التانية التفرقة بين الروبوتات الطيبة و الروبوتات الخبيثة , و أصلا الموضوع في غاية التعقيد و بيزداد كل يوم صعوبة بسبب التطور السريع في برمجة روبوتات قادرة على التخفي و التعامل بشكل " إنساني " بحيث يصعب جدا تفرقتها عن الزيارات الحقيقة.

أهم طرق و أساليب اكتشاف زيارات الروبوتات Bot traffic

1- عن طريق عنوان الآي بي ipaddress

كيفية اكتشاف زيارات الروبوتات و التعامل معها
من أقدم و أبسط طرق اكتشاف الروبوتات هي الاعتماد على قواعد بيانات تحتوي على قائمة بعناوين اﻵي بي التي تستخدمها أشهر الروبوتات. الطريقة دي في اكتشاف الروبوتات لم تعد ذات جدوى بشكل كبير وإن كانت لا تزال مستخدمة حتى اليوم و تستطيع اكتشاف كثير من زيارات الروبوتات الطيبة تحديدا , أما الروبوتات الخبيثة فهذه الطريقة ليست ذات جدوى مطلقا ﻹن هذه الروبوتات في الغالب تعتمد على متصفح Tor من أجل التخفي و بالتالي ليس لها عنوان آي بي ثابت أو على اﻷقل .. لا تستطيع معرفة عنوان الآي بي الحقيقي لها فتقوم بحجبه.

باﻹضافة لاعتماد الروبوتات الخبيثة على متصفح Tor , فإن منها ما يستغل ثغرات أمنية في اﻷجهزة المتصلة بالانترنت عموما IoT و تقوم بتنفيذ الزيارات المزيفة من خلالها , أو من خلال تطبيقات موبايل على أجهزة مستخدمين ليس لهم أي علم بوجود مثل هذه الروبوتات ضمن التطبيقات التي قاموا بتحميلها.

كذلك يستطيع اليوم مطوروا الروبوتات الحصول على أعداد ضخمة جدا من عناوين الآي بي لتنفيذ الزيارات من خلالها
و محصلة كل ذلك أن طرق اكتشاف زيارات الروبوتات الخبيثة التي تعتمد على قوائم بعناوين الآي بي لم تعد ذات جدوى حاليا.


2- عن طريق تحليل اﻷداء Behavior-based bot detection

كيفية اكتشاف زيارات الروبوتات و التعامل معها
عملية اكتشاف زيارات الروبوتات بالاعتماد على تحليل أداء الزائر ( سواء كان روبوت أو إنسان طبيعي ) لحظة بلحظة real-time behavioral analysis تعتبر من أنجح الوسائل في اكتشاف الروبوتات , و إن كانت هذه الطريقة تحتاج لخبرات برمجية عالية و متابعة و تطوير مستمر , و أيضا هي لا تضمن اكتشاف 100% من زيارات الروبوتات , و طبعا نسبة نجاح هذه الطريقة في اكتشاف الروبوتات تتوقف على طريقة تحليل الزيارات و كذلك على مستوى " ذكاء " و تعقيد الروبوت نفسه.

تحليل الزيارات يمكن أن يدور حول هذه النقاط :

- حركة الماوس هل تتبع نمط محدد أو تتم في خطوط مستقيمة , أم هي عشوائية
- هل يقوم الزائر بعمل scroll للصفحة أثناء زيارته أم لا
- مفاتيح الكيبورد التي يقوم الزائر بالضغط عليها أثناء وجوده بالموقع
- عدد الصفحات التي يقوم الزائر باستعراضها في الزيارة الواحدة
- مدة بقاء الزائر في كل صفحة من صفحات الموقع
- تغير رقم اﻵي بي لنفس الزائر أثناء الزيارة الواحدة
- هل قام الزائر بحجب بعض مصادر ( ملفات ) الموقع أم لا , فمثلا بعض الروبوتات تقوم بمنع تحميل الخطوط الخاصة و غيرها من مصادر الموقع التي لا تفيدها في شيء و ذلك لتقليل كمية البيانات المتبادلة بينها و بين المواقع التي تقوم بزيارتها.

جدير بالذكر أن نموذج reCaptcha المقدّم من جوجل , في نسخته الثالثة يعتمد أساليب معقدة في تحليل الزيارات و التفريق بين الروبوت و اﻹنسان الطبيعي بدون حتى أن يعرض للمستخدم نموذج اختبار , فهو يعتمد على تحليل مدة الزيارة و بيانات المتصفح و تغيّر رقم اﻵي بي للزائر أثناء تصفحه للموقع و مدة بقاؤه في كل صفحة و المدة التي استغرقها في كتابة و مليء بيانات النماج و غير ذلك .. مما يمكنه في النهاية من التفرقة بين الزيارات الحقيقية و الزيارات المزيفة , و لكن من الاختبار الشخصي مازالت reCaptcha المخفية التي لا تقدم اختبار للزائر غير قادرة على التفرقة بين الزيارات الحقيقية و الزيارات المزيفة بنسبة كبيرة.


3- صناعة مصيدة للروبوتات Crawler trap

فكرة صناعة مصيدة الروبوتات تعتمد على إنشاء فخ يمكن أن يقع فيه الروبوت , بينما لا يقع فيه الزائر الحقيقي , و بهذا يمكن اكتشاف الروبوتات الخبيثة. لاحظ أننا سنقوم بتوجيه الروبوتات الطيبة بحيث لا تقع هي اﻷخرى في هذا الفخ.


مثلا , تقوم بإنشاء صفحة تكون ضمن صفحات موقعك , ولكنك تمنع محركات البحث و الروبوتات الطيبة من زياراتها عن طريق استثنائها في ملف robots.txt , ثم تقوم بإنشاء رابط مخفي لهذه الصفحة في موقعك و لا تنسى أن تضع على الرابط أيضا وسم نو فولو rel="nofollow" و ذلك أيضا لمنع الروبوتات الطيبة من الوصول لهذه الصفحة , و بما أن الرابط مخفي فإن الزوار الحقيقيين لن يصلوا إلى هذه الصفحة أيضا.

إذن كل زيارة تأتي لهذه الصفحة هي في الحقيقة زيارة من روبوت خبيث , أو متطفل قام باستعراض روابط موقعك المخفية أو المستثناة في ملف robots.txt و قرر زياراتها , و في الحالتين تستطيع حجب هذا الزائر و تصنيفه كـ روبوت خبيث.

مثال آخر يعتمد على نفس الفكرة تقريبا , بالنسبة للنماذج الموجودة بموقعك forms فإنك تستطيع إنشاء حقل يعمل عمل المصيدة للروبوتات , هذا الحقل تجعله مخفيا ( عن طريق خاصية display و ليس بجعله input type=hidden ) و بما أن الحقل مخفي فإن الزوار الحقيقيين لن يقوموا بكتابة أي شيء داخل هذا الحقل , أما الروبوتات المبرمجة للتعامل مع النماذج فإنها تقوم بملىء و كتابة بيانات جميع الحقول و بالتالي ستقوم بكتابة بيانات في هذا الحقل المخفي , و بهذا أيضا تستطيع اكتشافها.


4- اختبارات CAPTCHA

كيفية اكتشاف زيارات الروبوتات و التعامل معها
المبدأ الذي تبنى عليه اختبارات الـ CAPTCHA هو أنها يجب أن تكون سهلة جدا بالنسبة للإنسان العادي , و صعبة جدا على الروبوتات و البرامج اﻵلية.

تطورت اختبارات الـ CAPTCHA كثيرا بسبب تطور برامج تحليل الصور و اﻷصوات , و مع تقدم تقنيات الذكاء الصناعي الذي بدأت بعض الروبوتات تعتمد عليه فإن صناعة اختبارات الـ CAPTCHA اصبحت مهددة بقوة. ولكن حتى اﻵن يمكن اعتبار اختبارات الـ CAPTCHA خصوصا المقدمة من جوجل reCaptcha من أنجح وسائل " تحجيم " الروبوتات الخبيثة , و لكن حتى هذه الاختبارات لا تستطيع منع زيارات الروبوتات الخبيثة , فقط تمنها من إرسال النماذج to submit forms أو من الوصول لبعض محتوى الموقع الذي يتطلب أولا المرور بهذا الاختبار.


ختاما , أرجو أن أكون وضحت أهم آليات اكتشاف الروبوتات الخبيثة , ولو عندك طريقة أخرى لاكتشاف الزيارات المزيفة أو الـ Bot traffic ياريت تشاركنا بيها , و إن شاء الله مع الموضوع القادم و كيفية منع و توجيه الروبوتات الطيبة .. ليه تعمل كدا و إزاي ؟!!
مشاركات ذات صلة