معيار جديد يختبر ما إذا كانت النماذج تنجز العمل فعلاً
أطلق باحثون من جامعة كاليفورنيا في بيركلي، بالتعاون مع لجنة استشارية تضم أكثر من 300 خبير متخصص، معياراً جديداً باسم Agents’ Last Exam أو ALE، بهدف قياس قدرة أنظمة الذكاء الاصطناعي على تنفيذ مهام مهنية حقيقية تمتد عبر خطوات متعددة وتنتج قيمة اقتصادية قابلة للقياس.
ويأتي هذا الاختبار في وقت تتسابق فيه الشركات الكبرى لعرض وكلاء ذكاء اصطناعي قادرين على العمل داخل بيئات احترافية معقدة، من البرمجة والتحليل إلى التصميم الهندسي والمراجعة الفنية. لكن ALE صُمم تحديداً لسد الفجوة بين الوعود التسويقية وبين ما تستطيع النماذج تنفيذه داخل سير عمل حقيقي.
النتيجة الأولى كانت لافتة: نموذج GPT-5.5 من OpenAI، عند استخدامه عبر بيئة Codex، جاء في المركز الأول على لوحة النتائج بنسبة نجاح بلغت 24%. وجاء نموذج Anthropic الجديد Claude Fable 5 في المركز الثالث بنسبة 22%، رغم أنه طرح قبل يوم واحد فقط من صدور النتائج.
لماذا يختلف ALE عن معايير الذكاء الاصطناعي التقليدية
الاختبارات القديمة في هذا المجال كانت غالباً تعتمد على أسئلة ثابتة أو مهام برمجية ضيقة النطاق. أما ALE فيدفع النماذج إلى التعامل مع بيئات عمل فعلية، داخل أنظمة تشغيل سطح مكتب، مع ضرورة التنقل بين النوافذ، واستخدام الأدوات، ودمج الأوامر النصية مع التفاعل البصري والنقرات اليدوية داخل البرامج.
ويُصنف القائمون على المشروع قدرة الوكيل عبر خمس طبقات وظيفية: العقل للاستدلال، العين للإدراك البصري، الجسد لتنظيم المهام، اليد لاستخدام الأدوات، والقدم كطبقة التشغيل الأساسية التي يتحرك عليها النظام. هذه البنية تجعل الاختبار أقرب إلى محاكاة عمل موظف رقمي، لا إلى حل لغز أكاديمي قصير.
الأهم من ذلك أن ALE يتجنب إلى حد كبير الاعتماد على أنظمة تقييم لغوية غير مستقرة من نوع "الذكاء الاصطناعي يقيم الذكاء الاصطناعي". فالمشروع يستخدم هذا الأسلوب في نسبة محدودة لا تتجاوز 6.8% من المهام، بينما يعتمد في بقية الحالات على تقييم حتمي قائم على الكود ومقارنة المخرجات مباشرة مع مرجع موثوق.
اختبار صعب يكشف حدود النماذج المتقدمة
الهدف المعلن من ALE ليس فقط ترتيب النماذج، بل كشف ما إذا كانت قادرة فعلاً على إنجاز أعمال لها أثر اقتصادي مباشر. ولهذا السبب، جاءت النتائج الأولية منخفضة بشكل عام، حتى بالنسبة لأقوى النماذج المتاحة اليوم.
وأظهر ترتيب الأداء أن نماذج متعددة لا تزال تكافح في المهام متعددة الخطوات. فالمركز الثاني كان أيضاً من نصيب GPT-5.5 عبر حزمة تشغيل مختلفة، بينما احتلت أدوات أخرى مراكز متقدمة نسبياً لكنها بقيت بعيدة عن مستوى النجاح الكامل. وتؤكد هذه الأرقام أن التحسن في قدرات الوكلاء لا يزال تدريجياً، وليس قفزة نهائية نحو الاستقلالية الكاملة.
على الطرف الآخر، سجلت بعض الإصدارات القديمة أو الأدوات المنافسة نتائج ضعيفة للغاية في أصعب فئات الاختبار، حيث ظهرت عدة تكوينات بنسبة نجاح 0% في المستوى الأكثر تعقيداً المعروف باسم Last-Exam.
55 قطاعاً مهنياً ومهام مستمدة من واقع العمل
يضم المشروع حالياً 1,490 حالة اختبار، مع خطة للتوسع إلى 5,000 مهمة. وتستند هذه المهام إلى تصنيف المهن الأمريكي O*NET / SOC 2018، وتغطي 55 مجالاً فرعياً غير جسدي، ما يمنح المعيار تنوعاً مهنياً أكبر من كثير من الاختبارات السابقة.
ولا تعتمد هذه السيناريوهات على بيانات نظرية، بل تُشتق من خبرات مهنية حقيقية. لذلك قد يُطلب من النموذج تنفيذ نمذجة ثلاثية الأبعاد في Siemens NX، أو إعداد مشهد داخل Unreal Engine، أو إجراء تحليل عصبي بصري في FSLeyes، أو تنفيذ مهام مؤثرات بصرية في Adobe After Effects.
هذا التنوع مهم لأنه يختبر التعميم الحقيقي. فالذكاء الاصطناعي قد يبدو قوياً عندما يواجه سؤالاً معزولاً أو مهمة قصيرة، لكنه يتعثر عندما تتطلب المهمة تذكّر السياق، والتنقل بين الأدوات، والحفاظ على تسلسل دقيق من الخطوات عبر وقت أطول.
مشكلة "الغش" ولماذا حاول الباحثون إغلاق الثغرات
أحد أكبر التحديات في تقييم النماذج الحديثة هو ما يعرف بـتلوث المعايير، أي تسرب أسئلة الاختبار إلى بيانات التدريب، ما يجعل النتائج أقل مصداقية. كما أن بعض المعايير السابقة تعرضت لانتقادات بسبب قبول حلول خاطئة أو كشف نماذج عن وصولها إلى مفاتيح إجابة مخفية داخل بيئات الاختبار.
ولمعالجة هذه المشكلات، صُمم ALE بطريقة أكثر صرامة. فالمشروع ينشر فقط نحو 10% من مجموعته البيانات على الملأ، أي حوالي 150 مهمة، بينما تبقى بقية المهام محفوظة بشكل خاص. ويتم تدوير المهام العامة والخاصة بشكل دوري للحفاظ على "معيار حي" يصعب حفظه أو تدريبه عليه بشكل كامل.
كما يميز المعيار بين درجات Full وUnlicensed. النسخة الأولى تشمل أدوات وبيئات قد تعتمد على برمجيات مدفوعة أو بيانات مرخصة، بينما تستبعد النسخة الثانية هذه العناصر لتوفير مقارنة عادلة بين النماذج التي تعمل بأدوات مجانية فقط.
ما الذي تعنيه النتيجة الأولى لصناعة الذكاء الاصطناعي
تفوق GPT-5.5 على منافسيه في هذا الاختبار لا يعني أن النموذج وصل إلى مستوى الاستقلال المهني الكامل، لكنه يشير إلى أن بعض المنصات باتت أفضل في التعامل مع التعليمات متعددة الأجزاء والالتزام بتسلسل المهام حتى النهاية. وفي المقابل، ما زالت مشاكل مثل النسيان أثناء التنفيذ أو التخلي عن خطوة مطلوبة تمثل عائقاً حقيقياً أمام أداء الوكلاء.
والخلاصة التي يرسلها ALE واضحة: أداء النماذج المتقدمة تحسن، لكنه لا يزال بعيداً عن الحل الكامل. فحتى مع تصدر GPT-5.5 للترتيب، تبقى نسبة النجاح منخفضة إذا ما قورنت بطموحات السوق في بناء وكلاء ذكاء اصطناعي قادرين على العمل كموظفين رقميين موثوقين.
بالنسبة للشركات التي تستثمر في الأتمتة والذكاء الاصطناعي، يقدم هذا المعيار إشارة مهمة: لا يكفي أن يكون النموذج قوياً في الاختبارات العامة، بل يجب أن يثبت قدرته على إنجاز العمل الحقيقي داخل بيئات معقدة، قابلة للتغير، وصعبة التكرار. وفي هذه النقطة تحديداً، ما زالت الطريق طويلة.