المشكلة لا تبدأ من النموذج دائماً
في كثير من فرق المنتجات المعتمدة على الذكاء الاصطناعي، تتكرر القصة نفسها: يخطئ النظام في إجابة مهمة، فيُستبدل نموذج التضمين، ثم يُرفع حجم النموذج اللغوي، ثم تُضاف تعليمات صارمة داخل النظام تطلب منه عدم الخروج عن السياق المرفق. ومع ذلك، قد يواصل النظام إنتاج معلومات غير صحيحة بثقة عالية، حتى عندما يُفترض أنه يستند إلى مستندات موثوقة.
هذا النمط يكشف سوء فهم شائعاً في بناء تطبيقات الاسترجاع المعزز بالتوليد أو RAG. فالمشكلة لا تكون، في الغالب، في طبقة التوليد وحدها. كثير من حالات الهلاوس تنشأ من سلسلة إخفاقات تبدأ قبل أن يكتب النموذج أول كلمة، وتحديداً عند البحث عن المحتوى المناسب، ثم عند طريقة تعامل النموذج مع الفراغات أو التناقضات في السياق.
وتُظهر دراسات حديثة أن RAG يقلل الهلاوس مقارنة بالاعتماد على نموذج لغوي خام، لكنه لا يلغيها. الفارق بين التحسن والإزالة الكاملة هو الفجوة التي تعيش فيها الأنظمة الإنتاجية فعلياً، وهي فجوة تتكوّن من الاسترجاع، والحوافز التدريبية، ونقص أدوات القياس الدقيقة.
الاسترجاع أضعف مما تتوقعه الفرق
الافتراض الأكثر شيوعاً هو أن إضافة قاعدة معرفة أو فهرس دلالي كفيلة بجعل الإجابات أكثر موثوقية. لكن الواقع أكثر تعقيداً. أنظمة الاسترجاع قد تعثر على مستندات تبدو قريبة من السؤال، من دون أن تكون ذات صلة حقيقية به. وهنا تبدأ المشكلة: النموذج يتلقى سياقاً يبدو مقنعاً، لكنه قد يكون مليئاً بالضجيج أو الأجزاء غير المفيدة.
في أحد التقييمات الأكاديمية التي تناولت أدوات البحث القانونية المعتمدة على RAG، سجلت الأنظمة نسب هلاوس تراوحت بين 17% و34% في أسئلة قانونية محددة. وهذه النتائج مهمة لأنها تظهر أن وجود طبقة استرجاع لا يعني بالضرورة الوصول إلى إجابة موثوقة. بل إن الاسترجاع قد ينجح في تقليل الخطأ مقارنة بالنموذج المجرد، لكنه يظل بعيداً عن مستوى “الخلو من الهلاوس”.
وتبرز المشكلة أكثر في البيئات المتخصصة، مثل الطب أو القانون، حيث تكون الفروق بين الجواب الصحيح والجواب القريب من الصواب شديدة الحساسية. في إحدى الدراسات الطبية الحديثة، أُجريت عشرات الآلاف من الملاحظات على مخرجات RAG، وتبيّن أن المحتوى المسترجع لم يكن ذا صلة كافية إلا في جزء محدود من الحالات. والنتيجة لم تكن تحسناً ثابتاً في الدقة، بل أحياناً تراجعاً في الفهم الشامل والاكتمال.
هذا يعني أن الاسترجاع القائم على التشابه المتجهي وحده لا يكفي. فالتشابه ليس مرادفاً للملاءمة. قد يعيد النظام مقاطع تبدو مرتبطة لغوياً بالسؤال، لكنها لا تحمل الإجابة المطلوبة فعلياً. ولهذا السبب، فإن التركيز على “عدد المستندات المسترجعة” غالباً ما يكون مؤشراً مضللاً إذا لم يُقاس معه مدى الصلة الحقيقية.
النموذج اللغوي يتعلم التخمين
حتى عندما تكون طبقة الاسترجاع جيدة نسبياً، يظل النموذج اللغوي جزءاً من المشكلة. فالنماذج الحديثة لا تُكافأ في التدريب على قول “لا أعرف” بقدر ما تُكافأ على تقديم إجابة صحيحة ظاهرياً. وفي بيئات التقييم التقليدية، تحصل الإجابة الواثقة على فرصة أفضل من الامتناع عن الرد، لأن الامتناع يُسجل غالباً كخطأ أو عدم إنجاز.
هذا السلوك يفسر لماذا تميل بعض النماذج إلى ملء الفراغات بدل الاعتراف بها. فعندما يعرض لها النظام سياقاً ناقصاً أو غير كافٍ، قد تختار أن تُكمل الصورة من معرفتها العامة أو من أنماط لغوية تعلمتها أثناء التدريب. والنتيجة تبدو سلسة ومقنعة، لكنها ليست بالضرورة صحيحة أو مستندة إلى المصدر.
وتوضح أبحاث منشورة حديثاً أن اختلاف إعدادات التدريب والتقييم يمكن أن يغيّر معدلات الامتناع عن الإجابة بشكل كبير. في اختبارات معيارية، وجدت بعض النماذج نفسها تميل إلى الإجابة الخاطئة مرات أكثر بكثير من مرة واحدة من كل مئة مرة التي تختار فيها التوقف عن الرد. وفي المقابل، خفضت نماذج أخرى معدل الخطأ بشكل ملحوظ عندما سُمح لها بإظهار التردد أو رفض الإجابة عند غياب الدليل.
المشكلة هنا ليست تقنية فقط، بل مرتبطة ببنية الحوافز نفسها. عندما يُدرب النموذج على أن التخمين أفضل من الصمت، فإنه يطوّر سلوكاً يفضّل الإكمال على التحفّظ. وفي أنظمة RAG، يصبح هذا السلوك أكثر إشكالاً لأن النموذج قد يلتقط من السياق كلمة أو عبارتين كافيتين لإقناعه بأن عليه الإجابة، حتى إذا كان النص المسترجع لا يدعم الاستنتاج فعلياً.
لماذا يزيد الإفراط في الاسترجاع الخطأ
الرد الأولي المعتاد على ضعف الدقة هو جلب عدد أكبر من المقاطع أو توسيع نافذة السياق. لكن هذا الحل قد يفاقم المشكلة بدلاً من علاجها. فكلما زادت المقاطع غير ذات الصلة، ارتفع احتمال أن يضيع النموذج وسط الضجيج، أو يلتقط جزءاً خاطئاً ويبني عليه جواباً يبدو سليماً شكلياً.
أبحاث حديثة في مجال السياقات الطويلة أظهرت أن أداء النماذج قد يتراجع عندما تصبح المدخلات أطول وأكثر ازدحاماً بالمعلومات. وهناك أيضاً ما يُعرف بمشكلة “الضياع في الوسط”، حيث تتراجع قدرة النماذج على الانتباه إلى المعلومات المحشورة في منتصف السياق. بعبارة أخرى، ليست كل إضافة إلى السياق مفيدة؛ أحياناً تكون مجرد تشويش جديد.
وهذا مهم جداً في RAG، لأن الفرق تميل إلى تعظيم الاسترجاع سعياً وراء “عدم تفويت أي شيء”. لكن في الواقع، ما تحتاجه الأنظمة التوليدية ليس الكثرة بل الدقة. استخراج وثائق قليلة لكن شديدة الصلة أفضل بكثير من ضخ عشرات المقاطع التي تبدو قريبة من السؤال من منظور دلالي عام.
الاسترجاع المفرط يخلق أيضاً مشكلة تشغيلية أخرى: كلما زاد عدد المقاطع، زاد العبء على المراحل اللاحقة في التحقق والتلخيص والمطابقة مع السؤال. وبدون وجود مرشح إعادة ترتيب أو طبقة تقييم جودة، ستصبح المنظومة معرضة لتضخيم الأخطاء بدلاً من تنقيحها.
المشكلة الحقيقية: لا أحد يقيس الفجوة بين الاسترجاع والتوليد
أحد أهم الاستنتاجات في أبحاث RAG الحديثة هو أن تقييم النظام ككل لا يكفي. فإذا خرجت الإجابة خاطئة، فلن تعرف الفرق غالباً هل السبب أن المسترجع أخفق في جلب المادة المناسبة، أم أن النموذج تجاهلها، أم أن النص المرفق نفسه كان متناقضاً أو ضعيف الصلة.
لذلك ظهرت أطر تقييم تفصل بين ثلاثة عناصر أساسية: ملاءمة السياق، والالتزام بالمصدر، ومدى ارتباط الإجابة بالسؤال. هذا التفكيك مهم لأنه يحوّل النقاش من “النموذج فاشل” إلى سؤال تشخيصي أدق: أي طبقة تحديداً تعطلت؟
في غياب هذا النوع من القياس، تظل فرق التطوير عالقة في إعادة تدوير الحلول نفسها: تبديل النموذج، زيادة حجم السياق، تعديل الصياغة، ثم مفاجأة الفريق بأن الخطأ نفسه عاد بأشكال جديدة. أما عندما تُرصد كل مرحلة على حدة، يصبح من الممكن معرفة ما إذا كانت المشكلة في البحث، أم في التوليد، أم في العلاقة بينهما.
ما الذي ينجح عملياً في بناء RAG أكثر موثوقية
النتائج المتراكمة من الدراسات والتطبيقات تشير إلى أن تحسين RAG لا يبدأ من النموذج الأكبر، بل من بنية الاسترجاع والقياس. وهناك مجموعة من الخطوات التي أثبتت فائدتها نسبياً:
فصل قياس الاسترجاع عن قياس التوليد حتى لا تختلط أسباب الفشل داخل رقم واحد مبهم.
استخدام طبقات استرجاع أدق مثل الدمج بين البحث الدلالي والبحث بالكلمات المفتاحية، ثم إعادة ترتيب النتائج وفق الصلة الفعلية.
تشجيع الامتناع المحسوب عندما لا يكون السياق كافياً، بدلاً من إجبار النموذج على الإجابة في كل الأحوال.
التحقق من أن كل ادعاء في الإجابة مدعوم بالنص المسترجع، باستخدام طبقات مطابقة أو استدلال لغوي.
تنظيف السياق قبل التوليد عبر تصفية المقاطع الضعيفة الصلة أو إعادة صياغة السؤال لتحسين فرصة الوصول إلى المادة المناسبة.
هذه الأساليب لا تلغي الفشل بالكامل، لكنها تقلصه بشكل واضح مقارنة بالاعتماد على زيادة الحجم أو رفع عدد المقاطع فقط. والرسالة الأساسية هنا أن الجودة في RAG لا تأتي من التكديس، بل من ضبط ما يدخل إلى النموذج وما يُسمح له بالاعتماد عليه.
الخلاصة: النموذج ليس الجزء الأكثر فساداً
الدرس الأهم من الأبحاث الأخيرة هو أن الهلاوس في RAG ليست لغزاً غامضاً، بل نتيجة متوقعة لمنظومة تكافئ التخمين وتسمح باسترجاع غير دقيق ولا تقيس الفجوة بين ما تم جلبه وما تم قوله. في هذا السياق، قد يكون النموذج اللغوي أقل العناصر ذنباً، لأنه يتصرف وفق ما دُرّب عليه وما وُضع أمامه.
إذا كانت طبقة الاسترجاع تعيد محتوى ضعيف الصلة، وإذا كانت آلية التدريب تجعل الإجابة أفضل من التوقف، وإذا كان القياس لا يفرّق بين المشكلة في السياق والمشكلة في التوليد، فستستمر الهلاوس مهما حسّنت الواجهة أو ضاعفت حجم النموذج.
لهذا، فإن بناء RAG موثوق لا يتعلق بزيادة الذكاء فقط، بل بزيادة الانضباط: استرجاع أدق، تقييم أوضح، وحوافز تدفع النموذج إلى قول “لا أعرف” عندما يكون ذلك هو الجواب الصحيح.