تدفع الشركات اليوم باتجاه استخدام أكثر من نموذج لغوي واحد في الوقت نفسه، على أمل أن يعوض كل نموذج نقاط ضعف الآخر. لكن دراسة جديدة ترى أن هذه الفرضية أكثر هشاشة مما تبدو عليه، وأن الاعتماد على التعدد قد يمنح فرق الهندسة شعوراً زائفاً بالأمان إذا لم تُقَس حدود الفشل المشترك بدقة.
وبحسب الدراسة التي حللت 67 نموذجاً من 21 مزوداً رائداً، فإن المشكلة الأساسية ليست فقط في مدى اختلاف النماذج عند الإجابة، بل في احتمال أن تخطئ كلها في السؤال نفسه. هذا النوع من الإخفاق الجماعي يضع سقفاً عملياً لأداء أي منظومة تعتمد على التوجيه، أو التصويت، أو الدمج بين عدة نماذج.
فكرة التعدد تصطدم بسقف خفي
تقوم كثير من الأنظمة المؤسسية على اختيار النموذج الأنسب لكل طلب: نموذج متخصص في البرمجة، وآخر في المنطق، وثالث عام للاستخدامات اليومية. ومن الناحية النظرية، يفترض هذا التصميم أن تنوع القدرات سيخلق شبكة أمان، بحيث يعوض أحد النماذج ما يعجز عنه الآخر.
إلا أن الدراسة تشير إلى أن هذا المنطق يركز على الاختلاف بين الأخطاء أكثر من تركيزه على الأخطاء المشتركة. فإذا كانت عدة نماذج تقع جميعها في الفخ نفسه عند نوع معين من الأسئلة، فلن يجدي عندها تبديل المسار أو إضافة طبقة توجيه جديدة. هنا يظهر ما يسميه الباحثون «سقف الفشل المشترك»، أي أعلى مستوى من الأداء يمكن للنظام الوصول إليه مهما كان تصميمه معقداً.
وتوضح النتائج أن المقاييس التقليدية، مثل الارتباط الثنائي بين الأخطاء، قد تعطي انطباعاً مفرط التفاؤل عن قدرة النظام النهائي. فالنماذج قد تبدو مختلفة في كثير من الحالات العادية، لكنها تتقارب في لحظات التعقيد الأعلى، وهي اللحظات التي تعتمد عليها المؤسسات عادة لتبرير الاستثمار في البنية متعددة النماذج.
تكلفة تشغيلية أعلى مقابل مكاسب غير مضمونة
لا يقتصر استخدام أكثر من نموذج على الجانب التقني فقط، بل يضيف أيضاً كلفة تشغيلية واضحة. فكل طبقة توجيه أو تصعيد بين نموذج منخفض التكلفة وآخر أعلى سعراً تعني زمن استجابة أطول، وبنية تحتية أعقد، وتنسيقاً أكبر بين مزودي الخدمة، إلى جانب تحديات الحوكمة والرقابة.
ولهذا السبب، تبحث الفرق الهندسية دائماً عن مبرر رقمي لاختيار مجموعة النماذج المناسبة. وغالباً ما تعتمد على فكرة أن النماذج ذات الأخطاء غير المتشابهة ستعزز بعضها البعض. لكن الدراسة تحذر من أن تجميع نماذج غير متساوية في القوة قد يؤدي أحياناً إلى نتيجة أسوأ من الاعتماد على نموذج أقوى واحد فقط، لأن النماذج الأضعف قد ترجح كفة الإجابة الخاطئة في أنظمة التصويت.
وفي هذا السياق، تبرز توصية عملية مهمة: إذا كانت النماذج غير متقاربة في المستوى، فقد يكون من الأفضل الاستثمار في أفضل نموذج منفرد بدلاً من توزيع الميزانية على عدة نماذج متوسطة. أما إذا أمكن جمع نماذج في شريحة جودة متقاربة، فإن فرص الاستفادة من التنوع تصبح أعلى.
متى يفيد الدمج بين النماذج؟
تظهر الدراسة أن التعدد ليس عديم الفائدة في كل الحالات. فهناك سيناريوهات يمكن فيها الاستفادة من تنوع النماذج، خاصة إذا كانت جميعها ضمن مستوى جودة متقارب. عندها قد يفوق النظام متعدد النماذج أداء ترتيب آخر يعتمد على إعادة سؤال النموذج نفسه مرات متعددة.
لكن هذا التفوق لا يعني أن التعدد سيحل مشكلة الاعتمادية بالكامل. فحين تُقاس المنظومة عبر مقياس الارتباط بين الأخطاء فقط، يجري تجاهل سؤال أهم: كم مرة تخفق جميع النماذج معاً؟ هذا هو المؤشر الذي يحدد عملياً ما إذا كانت البنية متعددة النماذج تضيف قيمة حقيقية أم أنها مجرد تعقيد إضافي.
وتلفت الدراسة إلى أن بعض المهام تتحسن فائدتها عندما تُحوَّل من توليد مفتوح إلى تحقق قابل للقياس. فكلما أمكن التحقق من الإجابة بوضوح، مثل التنفيذ البرمجي أو مطابقة صيغة بيانات صارمة، أصبح من الأسهل تحسين الأداء. أما في المهام المفتوحة التي لا تمتلك إجابة محددة بسهولة، فتصبح حدود التعدد أكثر وضوحاً.
الاختبار المجاني الذي تكشف به المؤسسات حدودها
من النقاط اللافتة في الدراسة أنها لا تكتفي بتشخيص المشكلة، بل تعرض طريقة منخفضة التكلفة لقياسها قبل الاستثمار في البنية الكاملة. الفكرة تقوم على حساب معدل الفشل المشترك في مجموعة اختبار محفوظة مسبقاً، ثم استخدام أدوات إحصائية لتقدير الحد الأعلى المحتمل لهذا الفشل في الإنتاج.
هذا يعني أن الفريق الهندسي يستطيع، قبل بناء مسار توجيه معقد، أن يختبر مجموعة من الطلبات الحقيقية أو شبه الحقيقية، ويراقب في أي الحالات تخفق النماذج كلها معاً. وإذا ظهر أن معدل الإخفاق المشترك مرتفع، فستكون الإشارة واضحة إلى أن إضافة نموذج خامس أو سادس لن تحل المشكلة الأساسية.
وتصف الدراسة هذا الإجراء بأنه جزء يمكن إدخاله ضمن دورة الاختبار المستمرة نفسها، بحيث يعاد حسابه كلما تغيرت النماذج أو تبدلت طبيعة المهام. وميزة هذا الأسلوب أنه لا يتطلب تشغيلات إضافية باهظة، بل يعتمد على سجلات التقييم التي تجمعها الفرق أصلاً في مراحل الاختبار الداخلية.
تطبيقات مؤسسية تواجه القيود نفسها
في البيئات المؤسسية، تبدو هذه النتائج مهمة بشكل خاص لأن كثيراً من الاستخدامات تعتمد على إجابات دقيقة لا تحتمل الخطأ. من أمثلة ذلك توليد استعلامات SQL يجب أن تعمل من المحاولة الأولى، أو استخراج رقم محدد من مستند طويل، أو إنشاء مخرجات JSON يجب أن تطابق مخططاً صارماً دون أي انحراف.
في مثل هذه المهام، لا تكفي الفكرة العامة القائلة إن مجموعة من النماذج أفضل من نموذج واحد. الأهم هو ما إذا كان هناك نموذج قادر فعلاً على اجتياز الحالات الصعبة، وما إذا كانت طبقة التوجيه قادرة على التعرف إليه بثقة. وإذا لم تكن الإشارة على مستوى السؤال نفسه قوية بما يكفي، فقد يصبح النظام متعدد النماذج مجرد طريقة أغلى لإعادة إنتاج الحد نفسه من الأخطاء.
أما في المهام التقديرية مثل الصياغات الإبداعية أو المحتوى المفتوح، فما زالت الصورة أقل حسمًا. الدراسة نفسها تشير إلى أن نتائجها تركز على المهام القابلة للقياس والتحقق، بينما يبقى مدى انطباقها على الأعمال غير المحددة بدقة مفتوحاً للنقاش.
الرسالة الأهم لفرق الذكاء الاصطناعي
الخلاصة التي تخرج بها الدراسة بسيطة لكنها مؤثرة: كثرة النماذج لا تعني تلقائياً ارتفاع الجودة. المؤسسات التي تخطط لبناء منظومات توجيه أو تصويت بين عدة نماذج تحتاج إلى النظر أولاً في الفشل المشترك، لا في التباين الظاهري فقط.
وإذا كشف الاختبار أن النماذج تتعثر في النقطة نفسها، فإن الاستثمار في بنية معقدة لن يغير كثيراً من النتيجة النهائية. أما إذا كانت الأخطاء موزعة فعلاً بين النماذج المتقاربة في القوة، فقد يكون هناك مجال حقيقي للاستفادة من التعدد. بهذه الطريقة، تتحول قرارات هندسة الذكاء الاصطناعي من تقدير حدسي إلى حساب قابل للقياس، وهو ما تحتاجه الشركات أكثر من أي وقت مضى.