أنثروبيك تحذر من تسارع الذكاء الاصطناعي وتدعو إلى إعادة ضبط حوكمة الأنظمة المستقلة

مخاوف جديدة مع تسارع قدرات الذكاء الاصطناعي

تزايد سرعة تطوير نماذج الذكاء الاصطناعي أعاد إلى الواجهة سؤالاً قديماً بصيغة أكثر إلحاحاً: هل تستطيع هذه الأنظمة أن تظل خاضعة لأهداف البشر إذا أصبحت قادرة على تحسين نفسها بسرعة تفوق قدرة البشر على المراجعة؟ هذا هو جوهر التحذير الذي طرحه باحثون في أنثروبيك، إذ يرون أن المرحلة المقبلة قد لا تقتصر على نماذج أكثر ذكاءً، بل قد تشمل أنظمة تتمكن من تطوير خلفائها بشكل شبه مستقل.

في هذا السياق، لم يعد القلق محصوراً في جودة المخرجات أو دقة الإجابات، بل انتقل إلى مستوى أعمق يتعلق بالسلامة والاتساق مع القيم البشرية. فكلما اقتربت الأنظمة من تنفيذ مهام معقدة وتوليد تحسيناتها الخاصة، زادت صعوبة التأكد من أنها تعمل ضمن الحدود التي يضعها الإنسان، لا خارجها.

ثلاثة مسارات محتملة لمستقبل التطوير

الباحثون عرضوا ثلاث فرضيات أساسية لمسار تطور الذكاء الاصطناعي. السيناريو الأول يتمثل في تباطؤ طبيعي في نمو القدرات، بحيث تصل التقنيات إلى سقف مؤقت يحد من الزيادة السريعة. أما السيناريو الثاني فيفترض استمرار مكاسب الكفاءة، لكن مع ظهور اختناقات في مجالات أخرى من دورة تطوير البرمجيات، مثل الاختبار أو النشر أو التكامل.

أما السيناريو الثالث، وهو الأكثر إثارة للقلق، فيقوم على وصول الأنظمة إلى قدرة كاملة على التحسين الذاتي التكراري، أي أن تصبح قادرة على تصميم الجيل التالي من نفسها. هنا تحديداً يبرز السؤال الأصعب: كيف يمكن التأكد من أن كل نسخة جديدة ستبقى أكثر أماناً، لا أكثر غموضاً؟

ويرى الباحثون أن الإجابة ليست محسومة، لأن المشكلات الصغيرة في اليوم قد تتراكم داخل أنظمة تتطور ذاتياً، لتتحول إلى انحرافات أكبر وأقل قابلية للفهم أو التصحيح مع مرور الوقت.

من حوكمة النماذج إلى حوكمة الوكلاء

التحذير لا يخص المختبرات البحثية فقط، بل يمتد مباشرة إلى الشركات التي بدأت تعتمد على ما يسمى بالذكاء الاصطناعي الوكالي. هذا النوع من الأنظمة لم يعد يكتفي بالرد على الأسئلة، بل بات قادراً على البحث، وكتابة الشيفرة، وتشغيل الأدوات، وتنفيذ سلاسل من المهام، وربما اتخاذ قرارات تشغيلية ضمن صلاحيات محددة.

هنا يظهر تحول مهم في التفكير المؤسسي: لم تعد الحوكمة تعني مراقبة النموذج فقط، بل مراقبة السلوك أثناء التشغيل، ومستوى الصلاحيات، والأدوات التي يمكن للوكلاء استخدامها، وحدود القرار التي لا يجوز لهم تجاوزها. وبعبارة أخرى، لم يعد الحديث عن “نموذج ذكي” بقدر ما أصبح عن “عامل رقمي” يعمل داخل المؤسسة وله درجة من التفويض.

هذا التحول يفرض على فرق التقنية والأمن والمخاطر أن تعيد بناء آليات الإشراف، لأن الأدوات التقليدية التي صممت لمراجعة المخرجات بعد صدورها قد لا تكون كافية إذا كان النظام نفسه يتخذ خطوات تلقائية خلال التنفيذ.

ماذا تقول التقديرات حول انتشار الأنظمة الوكيلة؟

التوقعات الحالية في السوق تشير إلى أن الذكاء الاصطناعي الوكالي لن يبقى محدوداً في التجارب المعزولة. فهناك تقديرات ترجح أن جزءاً متزايداً من قرارات العمل اليومية سيتم بشكل مستقل عبر هذه الأنظمة خلال السنوات المقبلة، كما يُتوقع أن يدمج عدد كبير من التطبيقات المؤسسية قدرات وكيلية ضمن بنيتها الأساسية.

لكن هذا التوسع المتسارع يأتي مع تحذير موازٍ: كثير من المشاريع الوكيلة قد تتعثر عندما تنتقل من بيئة الاختبار إلى بيئة الإنتاج، خصوصاً إذا كانت سياسات الصلاحيات والمراجعة غير مكتملة. لذلك بدأت المؤسسات تواجه سؤالاً عملياً أكثر من أي وقت مضى: كيف تمنح النظام قدراً كافياً من الاستقلالية لتحقيق الإنتاجية، من دون أن تفتح الباب أمام قرارات غير مصرح بها أو صعبة التتبع؟

المشكلة لم تعد دقة الإجابة بل دقة الفعل

أحد أبرز التحولات المفاهيمية في هذا الملف أن الخطر لم يعد مرتبطاً فقط بإمكانية أن يقدم النموذج إجابة خاطئة، بل بإمكان أن ينفذ الإجراء الخطأ في الوقت الخطأ. ففي الأنظمة الوكيلة، قد يؤدي قرار غير مضبوط إلى إرسال بيانات، أو تشغيل أداة، أو تعديل إعدادات، أو إطلاق سير عمل كامل، وكل ذلك قد يحدث بسرعة أكبر من قدرة الإنسان على التدخل.

لهذا السبب يرى محللون أن عبارة “الإنسان في الحلقة” لم تعد كافية إذا كان الإنسان لا يستطيع مواكبة سرعة الحلقة نفسها. فإذا كان النظام قادراً على اتخاذ خطوات متتابعة خلال ثوانٍ، تصبح المراجعة اليدوية اللاحقة متأخرة بطبيعتها، وليس مجرد خطوة احترازية إضافية.

ومن هنا تبرز الحاجة إلى ضوابط مدمجة في البنية التقنية نفسها، لا إلى رقابة بشرية متقطعة فقط. ويشمل ذلك تحديد صلاحيات واضحة، وفصل الأدوار، وتسجيل كل عملية، وفرض حدود قابلة للتحقق، وإعداد آليات رجوع عند الخطأ.

الضبط المؤسسي يصبح بنية تقنية لا مهمة يدوية

المؤسسات التي تستخدم الذكاء الاصطناعي على نطاق أوسع ستحتاج، وفق هذا المنظور، إلى الانتقال من المراقبة التقليدية إلى ما يمكن وصفه بالحوكمة الهندسية. أي أن الحماية لا تُضاف بعد النشر، بل تُبنى من البداية داخل النظام، مثل التحكم في الوصول، والقيود التشغيلية، والتحقق من كل خطوة، وآليات توقف تلقائي عند تجاوز الحدود.

هذا النهج مهم بشكل خاص في البيئات التي تتعامل مع بيانات حساسة أو عمليات مالية أو تدفقات عمل حرجة. ففي هذه الحالات، قد يكون الخطأ الصغير مكلفاً، وقد يكون التفسير اللاحق غير كافٍ لمعالجة الضرر. لذلك تصبح قابلية التدقيق والشفافية التشغيلية جزءاً من التصميم، لا مجرد متطلبات امتثال لاحقة.

كما أن اتساع استخدام الوكلاء المستقلين قد يفرض على المديرين التقنيين إعادة تعريف مفهوم المسؤولية. فإذا كان النظام يتصرف ضمن صلاحيات مفوضة، فمن يتحمل القرار النهائي عند وقوع خلل؟ هذا السؤال لا يخص الأخلاقيات فقط، بل يرتبط مباشرة بهيكل التشغيل وإدارة المخاطر داخل المؤسسة.

لماذا يطالب الباحثون بالتباطؤ الآن؟

لا يدعو الباحثون إلى وقف التطوير بشكل مطلق، بل يحذرون من أن السباق نحو القدرات الأعلى قد يتجاوز قدرة المجتمع على بناء الحواجز المناسبة. وتكمن الفكرة الأساسية في أن السرعة التقنية إذا سبقت أدوات الضبط والتحقق، فإن الهوة بين الإمكانات والرقابة ستتسع، ومعها ترتفع احتمالات فقدان السيطرة أو سوء الاستخدام.

وفي المقابل، يشيرون أيضاً إلى أن التباطؤ ليس حلاً مضموناً إذا لم يكن منسقاً على نطاق واسع. فلو تباطأت الجهات الأكثر حرصاً بينما واصل الآخرون التقدم بنفس الوتيرة، فقد ينتهي الأمر ببيئة أقل أماناً للجميع. لذلك يبدو الجدل الحقيقي اليوم متعلقاً بكيفية الموازنة بين الابتكار والمسؤولية، لا بمجرد اختيار أحدهما على حساب الآخر.

الرسالة الأوضح في هذا النقاش هي أن الذكاء الاصطناعي يتقدم من مرحلة “أداة” إلى مرحلة “فاعل” في بعض الاستخدامات، ومع هذا التحول تتغير قواعد الحوكمة نفسها. وما كان يكفي بالأمس لمراجعة نموذج لغوي قد لا يكفي غداً لإدارة نظام مستقل يقرر وينفذ ويتعلم في الوقت نفسه.