تشير بيانات حديثة إلى أن شركات الذكاء الاصطناعي الرائدة، مثل Anthropic و OpenAI، تقوم بزيادة نشاط زحف الويب بشكل ملحوظ، مع إعادة محدودة جدًا للزيارات إلى المواقع التي تزحفها. هذا الاتجاه يثير تساؤلات حول الاستدامة الاقتصادية للويب وكيفية تعامل شركات الذكاء الاصطناعي مع المحتوى الذي تعتمد عليه نماذجها. وتأتي هذه الملاحظات في وقت تتزايد فيه المخاوف بشأن حقوق الملكية الفكرية واستغلال البيانات عبر الإنترنت.
أظهرت تحليلات أجرتها شركة Cloudflare، المتخصصة في أمن و أداء الإنترنت، تدهورًا في نسبة الزحف إلى الإحالة لدى هاتين الشركتين منذ بداية سبتمبر 2025. يشير هذا إلى أن روبوتات الذكاء الاصطناعي تجمع كميات أكبر من البيانات من الويب، بينما تقلل من القيمة التي تعود بها إلى ناشري المحتوى وأصحاب المواقع الإلكترونية.
اقتصاد البيانات والذكاء الاصطناعي: تحديات جديدة
يعتبر جمع البيانات من الويب حجر الزاوية في تطوير نماذج الذكاء الاصطناعي التوليدية. وبينما تستثمر الشركات مبالغ طائلة في البنية التحتية اللازمة، مثل مراكز البيانات والرقائق المتطورة، فإن تكلفة الحصول على البيانات عالية الجودة غالبًا ما يتم تجاهلها في النقاش العام. تعتمد العديد من الشركات على الزحف الآلي للمواقع لجمع هذه البيانات دون تقديم تعويض مباشر لأصحابها.
تقليديًا، كان أصحاب المواقع يسمحون لمحركات البحث ومنصات التكنولوجيا بالوصول إلى محتواهم مجانًا مقابل الحصول على حركة مرور وزيارات من المستخدمين. هذه العلاقة التبادلية كانت أساسية لنمو الإنترنت. ومع ذلك، فإن ظهور الذكاء الاصطناعي التوليدي يهدد هذا النموذج القائم.
بدلاً من توجيه المستخدمين إلى المواقع الأصلية، تقدم محركات الإجابات وروبوتات الدردشة إجابات مباشرة مستندة إلى البيانات التي تم جمعها من الويب. هذا يقلل من حاجة المستخدمين لزيارة المواقع التي أنتجت المحتوى، مما يؤثر سلبًا على إيرادات الإعلانات والاشتراكات.
كيف تقيس Cloudflare نشاط الزحف؟
تستفيد Cloudflare من موقعها الفريد كشركة تقدم خدمات لأكثر من 20% من مواقع الويب العالمية لمراقبة أنماط الزحف. بدأت الشركة في عام 2025 بتتبع عدد طلبات الزحف التي ترسلها روبوتات شركات التكنولوجيا المختلفة، بالإضافة إلى عدد الزيارات التي تعيدها هذه الشركات إلى المواقع التي تزحفها.
تُستخدم نسبة الزحف إلى الإحالة كمقياس لتقييم مدى مساهمة الشركات في النظام البيئي للويب. على سبيل المثال، تشير نسبة 100 إلى 1 إلى أن الشركة تقوم بـ 100 عملية زحف مقابل إحالة واحدة فقط.
تشير البيانات الحالية إلى أن Anthropic تتصدر قائمة الشركات ذات نسب الزحف إلى الإحالة الأعلى، تليها OpenAI. وقد لوحظ أن هذه النسب قد تدهورت بشكل ملحوظ منذ بداية سبتمبر 2025، مما يعكس اعتمادًا متزايدًا على محتوى الويب مع مساهمة أقل في حركة المرور.
التكاليف المتزايدة على أصحاب المواقع
تؤكد تقارير سابقة من بزنس إنسايدر أن نشاط الزحف المكثف لروبوتات Anthropic و OpenAI قد تسبب في ارتفاع كبير في تكاليف الاستضافة والحوسبة السحابية لبعض المواقع. في بعض الحالات، تضاعفت تكاليف الحوسبة في غضون أشهر قليلة بسبب هذا النشاط المتزايد.
هذا يضع عبئًا ماليًا إضافيًا على أصحاب المواقع، الذين قد يضطرون إلى زيادة أسعارهم أو تقليل جودة خدماتهم لمواجهة هذه التكاليف. بالإضافة إلى ذلك، يثير هذا التساؤلات حول العدالة في توزيع الفوائد الاقتصادية الناجمة عن الذكاء الاصطناعي.
تعتبر مسألة زحف الويب من قبل شركات الذكاء الاصطناعي قضية معقدة تتطلب حوارًا مفتوحًا بين جميع الأطراف المعنية. من الضروري إيجاد حلول تضمن حصول أصحاب المحتوى على تعويض عادل عن استخدام بياناتهم، مع السماح في الوقت نفسه بتطوير نماذج الذكاء الاصطناعي بشكل مستدام.
من المتوقع أن تستمر المناقشات حول هذا الموضوع في الأشهر المقبلة، مع احتمال ظهور مبادرات تنظيمية أو اتفاقيات صناعية تهدف إلى معالجة هذه القضية. سيكون من المهم مراقبة التطورات في هذا المجال، خاصةً مع استمرار نمو الذكاء الاصطناعي وتأثيره على الإنترنت. كما يجب متابعة ردود فعل أصحاب المواقع والناشرين، والحلول التقنية التي قد يطورونها لحماية محتواهم وتقليل تكاليف الزحف غير الضرورية.