تزايد اعتماد فرق التطوير على وكلاء البرمجة المعتمدين على الذكاء الاصطناعي في كتابة الشيفرة ومراجعتها واختبارها، لكن دراسة جديدة تشير إلى أن جزءًا مهمًا من أداء هذه الأدوات قد يتأثر بعنصر يبدو ثانويًا: ملفات الإعداد التي تحدد لها كيف تتصرف داخل المشروع.
وتركز الدراسة على ملفات مثل Agents.md وClaude.md، وهي ملفات تُستخدم لتوجيه الوكلاء بشأن أسلوب العمل، وإجراءات الاختبار، ومعرفة قواعد المشروع. ووفق الباحثين، فإن هذه الملفات قد تعاني من مشكلات بنيوية تجعلها أقل فاعلية، وتزيد من استهلاك السياق والرموز، وتدفع الوكلاء إلى قرارات أقل دقة.
الدراسة، التي أعدها باحثون من قسم علوم الحاسب في الجامعة الفيدرالية بولاية ميناس جيرايس في البرازيل، قدّمت ما تصفه بأنه أول تصنيف منهجي لما سمّته "روائح الإعداد" في ملفات توجيه وكلاء البرمجة.
مشكلات متكررة في ملفات التوجيه
بعد فحص 100 مستودع مفتوح المصدر شائع يستخدم ملفات من هذا النوع، وجد الباحثون أن 91 منها تحتوي على الأقل على مشكلة واحدة من هذه الفئة. ويعني ذلك أن الظاهرة ليست استثنائية، بل تبدو واسعة الانتشار في بيئات التطوير التي بدأت تعتمد على الوكلاء البرمجيين بشكل أكبر.
ورغم أن هذه الملفات صُممت لتوحيد سلوك الوكيل وتحسين اتساقه عبر الجلسات المختلفة، فإن تراكم التفاصيل غير الضرورية أو التعليمات المتعارضة قد يقلب الهدف الأساسي إلى نتيجة عكسية. فالوكيل لا يقرأ التعليمات بوصفها نصًا تنظيميًا فحسب، بل يتعامل معها كجزء من السياق الذي يوجّه قراراته خطوة بخطوة.
ستة أنماط رئيسية من "الروائح"
حددت الدراسة ستة أنماط بارزة من العيوب في ملفات الإعداد، جاءت على النحو التالي:
- تسرب قواعد التنسيق، حين تتكرر في الملف تعليمات يفترض أن تتكفل بها أدوات خارجية مثل المنسقات أو أدوات فحص الجودة.
- تضخم السياق، عندما تصبح الملفات طويلة ومحمّلة بتفاصيل كثيرة لا تضيف قيمة مباشرة.
- تسرب المهارات، أي إدراج تعليمات متخصصة في ملف عام بدل وضعها في ملفات مخصصة للمهام.
- التعليمات المتعارضة، عندما تحتوي الملفات على أوامر متناقضة تربك الوكيل.
- تصلب التهيئة، وهو بقاء ملفات قديمة دون تحديث مع تغيّر المشروع.
- المراجع الغامضة، أي الإشارة إلى ملفات أو مستندات دون شرح سبب الرجوع إليها.
وترى الدراسة أن أكثر هذه المشكلات شيوعًا هو تسرب قواعد التنسيق، يليه تضخم السياق ثم تسرب المهارات. وهذه الأنماط لا تؤدي فقط إلى تقليل الوضوح، بل تستهلك أيضًا جزءًا من نافذة السياق، وهو ما ينعكس على التكلفة والدقة معًا.
لماذا تؤثر هذه الأخطاء على أداء الوكيل
عندما تحتوي ملفات الإعداد على قواعد شكلية مكررة، فإن الوكيل يضطر إلى معالجة معلومات كان يمكن أن يتولاها النظام أو أدوات الفحص الآلي أصلًا. وبذلك تُهدر مساحة من السياق على تفاصيل لا تساعد كثيرًا في تنفيذ المهمة الأساسية، مثل فهم بنية المشروع أو قواعده الخاصة أو متطلبات الأمان.
أما تضخم السياق فيظهر عندما يُضاف إلى الملف عدد كبير من الأمثلة والتعليمات والحالات الاستثنائية، حتى يصبح الملف أقرب إلى أرشيف شامل منه إلى دليل عملي مختصر. هذه الحالة لا ترفع التكلفة فقط، بل قد تشوش ترتيب الأولويات لدى النموذج وتجعله أقل قدرة على التركيز على ما هو مهم فعلًا.
وتبرز مشكلة تسرب المهارات عندما تُدرج تعليمات متخصصة جدًا ضمن ملف عام يحمَّل في كل جلسة. وبدل أن تُستخدم هذه التعليمات عند الحاجة فقط، تصبح جزءًا دائمًا من المدخلات، ما يزيد العبء على السياق ويجعل الصيانة أصعب مع الوقت.
التعارض والقدم يضعفان الموثوقية
من بين أخطر ما رصدته الدراسة أيضًا وجود تعليمات متناقضة داخل الملف نفسه. ففي هذه الحالة، لا يعود الوكيل قادرًا على تحديد أي قاعدة يجب أن يطبقها أولًا، فيتصرف بصورة غير مستقرة أو يختار عشوائيًا بين توجيهين متعارضين.
كما تشير الدراسة إلى أن بعض الملفات تُنشأ مرة واحدة ثم تُترك دون مراجعة، وهو ما يؤدي إلى ما سمّاه الباحثون تصلب التهيئة. ومع تطور قاعدة الشيفرة أو تغيّر الأدوات أو سياسات البناء والاختبار، تبقى التعليمات القديمة على حالها، فتضيف ضوضاء لا تفيد وتقلل فعالية الوكيل بمرور الوقت.
أما المراجع الغامضة، فهي مشكلة مختلفة لكنها لا تقل أهمية. فالإشارة إلى مستندات أو ملفات دون توضيح وظيفتها أو متى ينبغي للوكيل الرجوع إليها قد تدفعه إلى تجاهلها، أو إلى تحميل معلومات غير ضرورية فقط بحثًا عن السياق. وفي كلتا الحالتين، تكون النتيجة إهدارًا للموارد وضعفًا في الأولوية.
كيف يمكن تحسين ملفات الإعداد
تخلص الدراسة إلى أن جودة ملفات التوجيه ليست أمرًا ثانويًا في تطوير الأنظمة الوكيلة، بل عنصر أساسي في موثوقيتها. وتقترح مجموعة من الممارسات العملية لتقليل المشكلات المكتشفة.
أول هذه الممارسات هو إزالة التعليمات الشكلية التي تتولى الأدوات الآلية تنفيذها بالفعل، مثل قواعد التنسيق وترتيب الاستيرادات. فهذه التفاصيل لا تستحق أن تستهلك جزءًا من السياق المخصص لتوجيه الوكيل في المهام الأعلى قيمة.
وتوصي الدراسة أيضًا بالإبقاء على الملفات قصيرة ومحددة، مع التركيز على ما يخص المشروع مباشرة. وتشير إلى أهمية وجود حد معقول لطول هذه الملفات، بحيث تظل مرجعًا عمليًا لا مخزنًا شاملاً لكل شيء.
وفي ما يتعلق بالمهارات الخاصة، يقترح الباحثون فصل التعليمات المرتبطة بمهمة معينة في ملفات مستقلة ذات أسماء واضحة، بدل تحميلها في كل مرة عبر ملف رئيسي واحد. هذا الأسلوب يجعل الصيانة أسهل ويقلل احتمالات التضارب.
كما تشدد الدراسة على ضرورة المراجعة الدورية للملفات بهدف حذف التعليمات المكررة أو غير المتسقة أو القديمة. فمع كل تغيير في المشروع، من المحتمل أن تتغير أيضًا الحاجة إلى بعض التوجيهات السابقة. وإذا لم تُحدَّث الملفات بانتظام، فإنها تتحول إلى طبقة إضافية من الضوضاء داخل النظام.
وللتعامل مع المراجع الغامضة، توصي الدراسة بأن تشرح الملفات سبب الإشارة إلى أي مستند خارجي، وما الذي يحتويه، ومتى ينبغي استخدامه. بهذه الطريقة يمكن للوكيل أن يفهم السياق دون الحاجة إلى تحميل مصادر إضافية بلا داعٍ.
رسالة أوسع لصناعة أدوات الذكاء الاصطناعي
تعكس هذه النتائج تحولًا مهمًا في طريقة النظر إلى تطوير وكلاء الذكاء الاصطناعي. فالمشكلة لم تعد مرتبطة بالنموذج وحده، بل تمتد إلى الطبقات التي تحيط به، مثل ملفات الإعداد والحوافز والأدلة التشغيلية. وكلما تحسنت جودة هذه الطبقات، زادت قدرة الوكيل على العمل بثبات وكفاءة.
وبحسب الدراسة، فإن ملفات الإعداد أصبحت من المكونات الأساسية في التطوير المعتمد على الوكلاء، وإذا امتلأت بالتعقيد أو التناقض أو التكرار، فإن ذلك ينعكس مباشرة على جودة النتائج. لذلك ترى أن الاهتمام بهذه الملفات ليس تفصيلًا تنظيميًا، بل جزء من هندسة موثوقية أنظمة الذكاء الاصطناعي نفسها.