خلال السنوات الأخيرة، انشغلت كثير من المؤسسات بسؤال واحد عند تقييم أنظمة الذكاء الاصطناعي: هل النموذج دقيق؟ هل نتائجه عادلة؟ هل البيانات المستخدمة معتمدة؟ وهل ينسجم النظام مع المتطلبات التنظيمية الناشئة؟ هذه الأسئلة مهمة، لكنها لم تعد كافية وحدها. فمع انتقال الذكاء الاصطناعي من المختبرات إلى صميم العمليات اليومية، ظهر سؤال أكثر إلحاحاً: ماذا يحدث عندما يقع الخطأ بالفعل؟
هذا التحول يعيد تعريف المخاطر المرتبطة بالذكاء الاصطناعي. فالمشكلة لم تعد محصورة في جودة النموذج أو في سياسات الحوكمة، بل أصبحت مرتبطة بقدرة المؤسسة على اكتشاف الحادث، وعزل أثره، وتنسيق الاستجابة، ثم توثيق ما جرى واتخاذ قرارات قابلة للدفاع عنها.
في قطاعات مثل خدمة العملاء، وتطوير البرمجيات، والتمويل، والرعاية الصحية، والتوظيف، وإدارة المطالبات، وسلاسل الإمداد، صار الذكاء الاصطناعي جزءاً من التشغيل اليومي. وعندما يكون النظام متصلاً ببيانات حساسة أو بعمليات آلية أو بأدوات قادرة على تنفيذ إجراءات فعلية، فإن أي خلل لا يبقى “مشكلة تقنية” فقط، بل يتحول إلى حادث عمل له تبعات قانونية وتنظيمية ومالية وتشغيلية.
الحوادث المرتبطة بالذكاء الاصطناعي لا تشبه الأعطال البرمجية التقليدية
في البرمجيات التقليدية، غالباً ما يكون الخلل واضح الحدود: يظهر عطل، ثم يبحث الفريق الهندسي عن السبب، ويعيد إنتاج المشكلة، ويصلح الكود، ثم يطلق التحديث. أما في الذكاء الاصطناعي فالصورة أكثر تعقيداً. فالحادث قد ينشأ من تفاعل النموذج مع الطلبات، أو مع نظام الاسترجاع، أو مع الإضافات، أو مع الوكلاء، أو مع خطوات العمل اللاحقة داخل المؤسسة.
وقد يعمل النظام كما صُمم فعلاً، لكن المشكلة تكمن في أن التصميم نفسه غير كافٍ للبيئة التي وُضع فيها. لذلك قد تكون النتيجة متقطعة، أو غير متوقعة، أو مرتبطة بسيناريوهات يصعب تكرارها. كما أن فرقاً كبيراً يوجد بين خطأ في روبوت محادثة استهلاكي وبين خطأ داخل سير عمل قانوني أو مالي أو سريري أو متعلق بالموارد البشرية.
ومن الأمثلة التي تثير القلق: هلوسة معلومات غير صحيحة داخل سياق مهني حساس، أو تسرب بيانات سرية عبر نموذج، أو إخراج متحيز عند استخدام النظام على نطاق واسع، أو وكيل ذكي يمتلك صلاحيات تسمح له بتغيير الأذونات أو تنفيذ أوامر أو تحديث سجلات أو إطلاق إجراءات من دون أن يقصد أي إنسان ذلك. هذه ليست سيناريوهات نظرية، بل أنماط فشل عملية ينبغي الاستعداد لها.
المرونة التشغيلية تصبح الإطار الأنسب لفهم المخاطر
المنظمات بدأت تدرك أن الحديث عن المخاطر بصيغة الحوكمة وحدها لا يكفي. الحوكمة تحدد ما ينبغي أن يكون صحيحاً، لكنها لا تشرح كيف تتصرف المؤسسة حين تتحرك الوقائع بسرعة أكبر من السياسات المكتوبة. لهذا السبب، ينتقل النقاش اليوم نحو “المرونة التشغيلية” بوصفها الإطار الأوسع الذي يضم الوقاية والاستجابة معاً.
المنهج الناضج لا يكتفي بمنع الفشل، بل يخطط أيضاً لما يجب فعله عند وقوعه. هذا المنطق معروف في الأمن السيبراني والطيران، حيث تُدرس الحوادث لا باعتبارها إخفاقات فقط، بل باعتبارها مصادر تعلم تساعد على تحسين الأنظمة والعمليات. ومع الذكاء الاصطناعي، تبدأ المؤسسات في تبني الفكرة نفسها: كيف نمنع المشكلة؟ وكيف نرد عليها إذا حدثت؟
السبب في ذلك أن حجم الحوادث يتزايد مع توسع الاعتماد على الأنظمة الذكية. وتتبع قواعد بيانات الحوادث المعروفة عالمياً ارتفاعاً كبيراً في عدد الحالات المسجلة، ما يعكس أن هذه القضايا لم تعد استثنائية، بل أصبحت جزءاً من مشهد التشغيل العادي في الاقتصاد الرقمي.
الاستجابة ستكون متعددة الوظائف وليست مهمة فريق واحد
من الدروس الواضحة في الأمن السيبراني أن الحوادث نادراً ما تبقى داخل فريق واحد. تبدأ المشكلة أحياناً كمسألة تقنية، لكنها سرعان ما تشمل القانون، والاتصالات، والامتثال، والقيادة التنفيذية، وأحياناً مجلس الإدارة، إلى جانب الفرق الهندسية والاختصاصيين الخارجيين. والحوادث المرتبطة بالذكاء الاصطناعي ستسلك المسار نفسه.
إذا كشف نموذج بيانات حساسة لعملاء، فسيحتاج فريق الأمن إلى فهم ما حدث، فيما يراجع فريق الخصوصية التبعات المتعلقة بالبيانات، ويحدد فريق القانون الالتزامات المحتملة، بينما يدرس فريق الاتصالات كيفية التعامل مع العملاء أو المنظمين أو الإعلام. وقد يضطر الفريق التقني إلى تعطيل النظام أو التراجع عن التحديث، في حين توازن الإدارة بين استمرارية العمل واحتواء الضرر.
أما إذا بدأ وكيل ذكي باتخاذ إجراءات غير مقصودة داخل أنظمة المؤسسة، فالسؤال لن يكون تقنياً فقط، بل إدارياً أيضاً: ما الذي فعله؟ من تأثر؟ هل ترتبت التزامات تعاقدية؟ وهل أثّر ذلك في قرارات تشغيلية أو مالية أو قانونية؟ لهذا تحتاج المؤسسات إلى بناء ذاكرة تشغيلية مشتركة قبل وقوع الأزمة، من خلال تحديد واضح للأدوار، ومسارات التصعيد، وصلاحيات القرار، وقنوات التواصل، وآليات التوثيق، والتدريب العملي.
يجب عزل النظام محل التحقيق عن قنوات الاستجابة
من المبادئ المهمة في التعامل مع الحوادث عدم السماح للنظام المشتبه فيه بالتحكم في مسار الاستجابة. فإذا كان النظام قادراً على الوصول إلى وثائق التنسيق أو الرسائل أو الإجراءات نفسها التي تُستخدم لإدارة الحادث، فإن المؤسسة لم تعزل المشكلة فعلياً. وهذا شبيه بما يحدث في حوادث الفدية الرقمية، حيث يُنقل التنسيق إلى قنوات خارج البيئة المخترقة حتى لا يتمكن المهاجم من التأثير في عملية الاستجابة.
المنطق ذاته ينطبق على الذكاء الاصطناعي. فقد لا يكون النموذج “عدائياً” بالمعنى البشري، لكنه إذا استطاع رؤية خطة الاستجابة، أو تلخيص اجتماع الأزمة، أو اقتراح خطوات داخل نفس البيئة التي يجري احتواء الحادث فيها، فإن الفصل بين المشكلة والاستجابة يصبح ناقصاً.
تزداد أهمية هذا المبدأ مع الأنظمة الوكيلة القادرة على العمل عبر أدوات وبيانات وسير عمل متعددة. هنا لا يكفي الاهتمام بسلامة النموذج فقط، بل يجب التفكير أيضاً في الفصل التشغيلي، وفي حدود الصلاحيات، وفي ما إذا كانت البيئة المستخدمة لإدارة الحادث مستقلة بما يكفي عن البيئة التي حدثت فيها المشكلة.
إطار عملي: التحضير، التدريب، الاستجابة، الإبلاغ
يمكن للمؤسسات أن تبني جاهزيتها وفق أربعة محاور متتابعة: التحضير، والتدريب، والاستجابة، والإبلاغ. في مرحلة التحضير، يجب تحديد أنواع الحوادث المحتملة مسبقاً، مثل التحيز، والهلوسة، وتسرب البيانات، وانحراف النموذج، وحقن التعليمات، واستخدام الأدوات من دون تفويض، وسلوك الوكلاء غير المتوقع، وفشل المورد الخارجي.
ويجب ألا تكون خطة التعامل مع الحوادث وثيقة طويلة معقدة لا يفتحها أحد في لحظة الأزمة. المطلوب هو دليل عملي قصير وواضح يحدد من يفعل ماذا، ومتى، وكيف. فالفريق القانوني يحتاج إلى معرفة دوره، والهندسي يحتاج إلى معرفة حدود التدخل، والاتصالات تحتاج إلى توقيت المشاركة، والإدارة تحتاج إلى معايير واضحة للإبلاغ الداخلي.
أما التدريب، فيعني تنفيذ تمارين محاكاة بشكل منتظم، لا كواجب شكلي سنوي، بل كوسيلة لبناء ذاكرة عملية. فالتجربة الأولى لاجتماع مجلس الإدارة حول حادث ذكاء اصطناعي لا ينبغي أن تكون داخل أزمة حقيقية. والتجربة الأولى لتعاون القانون والهندسة والخصوصية والأمن والاتصالات ينبغي أن تسبق لحظة الضغط الفعلي.
وفي مرحلة الاستجابة، يصبح الانضباط أساسياً: ما الحقائق المؤكدة؟ ما الذي ما يزال غير معروف؟ من اتخذ القرار؟ ما الذي تغير خلال ساعات الحادث؟ ولماذا؟ أما الإبلاغ، فيتصل بالاتجاه التنظيمي الذي يزداد وضوحاً، حيث تتجه قواعد مثل قانون الذكاء الاصطناعي الأوروبي إلى فرض متطلبات للإبلاغ عن الحوادث الجسيمة في بعض الأنظمة عالية المخاطر، ما يعني أن السجل الموثق سيصبح ضرورياً أكثر من أي وقت مضى.
الذكاء الاصطناعي يساعد، لكنه لا يستبدل الحكم البشري
من المغري تصور أن الاستجابة لحوادث الذكاء الاصطناعي يمكن أتمتتها بالكامل. لكن هذا تصور غير دقيق. نعم، يمكن للذكاء الاصطناعي أن يلخص المعلومات، ويكشف النواقص، ويقارن الحادث بأنماط سابقة، ويعد مسودة لتقارير ما بعد الحادث، ويساعد على فهم الالتزامات التنظيمية. هذه كلها وظائف مفيدة، خاصة عندما تكون الفرق تحت ضغط شديد.
لكن القرار النهائي يبقى بشرياً. يجب على أشخاص حقيقيين أن يقرروا ما إذا كانت الصورة مكتملة، وهل يجب تعليق النظام، ومتى يصبح الإبلاغ إلزامياً، وكيف تُقاس الأضرار، وما الرسالة المناسبة للعملاء أو الشركاء. في الحوادث الجادة، لا يمكن استبدال الحكم، ولا المساءلة، ولا التعاطف بالأتمتة.
القيمة الحقيقية للذكاء الاصطناعي هنا هي أن يمنح فرق الأزمة سياقاً أفضل وبسرعة أكبر، لا أن يحل محلها. فكلما كانت القرارات حساسة، ازدادت الحاجة إلى التمييز البشري.
مجالس الإدارة تحتاج إلى خطة واضحة أيضاً
مع تحول الذكاء الاصطناعي إلى موضوع على مستوى مجلس الإدارة، لم يعد مقبولاً الاكتفاء بعرض شرائح رقابية عامة. يجب أن تعرف المجالس مسبقاً متى يتم إبلاغها، وما المعايير التي تستدعي تدخلها، وكيف تُقيَّم الجسامة، وما المعلومات التي ستقدمها الإدارة خلال الأزمة.
فالمخاطر هنا لا تتعلق فقط بالتقنية، بل بالأثر على العملاء، والسمعة، والالتزامات القانونية، والقدرة التشغيلية، والتمويل، والثقة. ولهذا تحتاج المؤسسات إلى “خطة مجلس” خاصة بحوادث الذكاء الاصطناعي، حتى لا يكون أول نقاش جاد داخل المجلس في لحظة ارتباك وتشويش.
المرحلة المقبلة: من وعد الذكاء إلى صلابة التشغيل
تظل فكرة “الذكاء الاصطناعي الموثوق” هدفاً مهماً، لكن الثقة لا تُبنى بالمبادئ وحدها. الثقة تتكون عندما تُظهر المؤسسة أنها تعرف كيف تستعد، وكيف تكتشف الخلل، وكيف تستجيب، وكيف توثق القرار، وكيف تتعلم بعد انتهاء الحادث. هذه هي الفجوة التي ستفصل بين الاستخدام التجريبي والاعتماد التشغيلي الناضج.
الرسالة الأساسية واضحة: الأخطاء ستحدث. النماذج ستفشل أحياناً، والوكلاء قد يتصرفون بطرق غير متوقعة، والبيانات قد تتسرب، والموردون قد يخطئون، والتنظيم قد يتغير. السؤال الحقيقي لم يعد ما إذا كان ذلك سيحدث، بل ما إذا كانت المؤسسة جاهزة للتصرف بسرعة ومسؤولية عندما يحدث.
عندما تصبح الإجابة نعم، ينتقل الذكاء الاصطناعي من كونه تجربة واعدة إلى كونه بنية تحتية يمكن الاعتماد عليها. وعندها فقط تتحول المرونة التشغيلية إلى جزء من ثقافة العمل، لا مجرد بند في السياسة الداخلية.