نقلة في اقتصاد تدريب النماذج
في وقتٍ باتت فيه تكلفة بناء النماذج اللغوية الأساسية تُقاس عادةً بملايين الدولارات، يبرز اتجاه بحثي جديد يراهن على تقليص هذه الفاتورة بشكل حاد. فريق بحثي في شركة Sapient يقول إنه نجح في تدريب نموذج لغوي أساسي من الصفر مقابل نحو 1500 دولار فقط، وهو رقم يضع علامة استفهام كبيرة حول الافتراض السائد بأن التوسّع الحوسبي الضخم هو الطريق الوحيد إلى الأداء الجيد.
الفكرة لا تقوم على تقليص الحجم فقط، بل على إعادة تصميم طريقة التعلم نفسها. وبدلاً من الاعتماد على معمارية Transformer التقليدية والتدريب على كم هائل من النصوص الخام، استخدم الباحثون بنية مختلفة تركز على الكفاءة العالية في استخدام البيانات وعلى تعلّم مهام محددة بصورة مباشرة.
هذا التحول مهم للشركات التي تحتاج إلى نماذج قادرة على الاستدلال وتحليل البيانات، لكنها لا ترغب في تحمل تكاليف البنية التحتية الهائلة أو المخاطر المرتبطة بإرسال بياناتها الحساسة إلى نماذج خارجية ضخمة.
HRM-Text: بنية تستبدل التوسع بالقوة الخام بالكفاءة
النموذج الجديد يحمل اسم HRM-Text، وهو مبني على ما يصفه الباحثون بأنه Hierarchical Recurrent Model أو النموذج التكراري الهرمي. هذه البنية تختلف عن النماذج اللغوية الشائعة لأنها تفصل بين طبقتين من المعالجة: طبقة سريعة تنفذ التحسينات المحلية المتكررة، وطبقة أبطأ تحتفظ بالسياق الدلالي الأكبر عبر الدورات.
بحسب الباحثين، هذا الفصل ليس مجرد تعديل هندسي تجميلي، بل استجابة لمشكلة حقيقية في تدريب النماذج على اللغة الطبيعية. فالتعامل مع اللغة يتطلب توازناً بين تثبيت المعنى على المدى الطويل ومعالجة التفاصيل السريعة في اللحظة نفسها، وهو ما لا تقدمه البنى التقليدية بالكفاءة نفسها عند السعي إلى تقليل الحجم والكلفة.
ولم يدرَّب HRM-Text على نصوص الإنترنت الخام بالطريقة المعتادة، بل على أزواج من التعليمات والإجابات فقط. هذا يعني أن الهدف لم يكن أن يحفظ النموذج أكبر قدر ممكن من النصوص، بل أن يتعلم كيف ينفذ مهمة واضحة ويقدّم إجابة مناسبة لها.
تعديل فلسفة التدريب بدل تضخيم البيانات
النهج الجديد يغيّر أيضاً منطق الهدف التدريبي. ففي النماذج التقليدية، يُبنى التدريب غالباً على التنبؤ بالكلمة التالية داخل نص طويل، وهو ما يفرض على النموذج أن يعالج معلومات يعرفها المستخدم مسبقاً أثناء الإدخال. أما هنا، فجرى تحويل التركيز إلى إكمال المهمة ككل، بحيث لا تتم مكافأة النموذج على كل رمز منفرد، بل على النتيجة النهائية الكاملة.
ولضمان استقرار التدريب، أدخل الباحثون تقنيات مساعدة من بينها أسلوب خاص للتطبيع الداخلي، إضافة إلى مرحلة تمهيدية يتعلم فيها النموذج أولاً على سلاسل استدلال قصيرة قبل الانتقال التدريجي إلى تسلسلات أعمق وأكثر تعقيداً. الهدف من ذلك هو منع عدم الاستقرار الرياضي الذي قد يظهر في البنى التكرارية عندما تتعامل مع اللغة الواسعة والمتغيرة.
هذه التعديلات سمحت بتدريب نموذج بحجم 1 مليار معامل تقريباً على مجموعة مضبوطة من 40 مليار رمز فقط، وهو حجم بيانات أقل بكثير من المتطلبات المعتادة في تدريب النماذج الأساسية الكبيرة.
أداء تنافسي رغم خفض التكلفة
رغم الموارد المحدودة نسبياً، حقق HRM-Text نتائج لافتة على عدد من المعايير المرجعية المستخدمة لقياس المعرفة والاستدلال والرياضيات والفهم اللغوي. ووفق النتائج التي أعلنها الباحثون، سجل النموذج 60.7% على اختبار MMLU، و84.5% على GSM8K، و56.2% على MATH.
هذه الأرقام تضعه في نطاق تنافسي مع بعض النماذج المفتوحة الأكبر حجماً التي جرى اختباره أمامها، مع فارق جوهري في كلفة التدريب والوقت. فالنموذج احتاج إلى 1.9 يوم فقط على عنقود يضم 16 بطاقة رسومية، بينما قُدرت الكلفة الإجمالية للحوسبة بنحو 1500 دولار.
كما يشير الباحثون إلى أن النموذج حقق هذه النتائج باستخدام عدد رموز تدريب أقل بما يتراوح بين 100 و900 مرة مقارنةً ببعض النماذج المنافسة، وباستهلاك حوسبة أقل بنحو 96 إلى 432 مرة في التقدير المقارن.
ماذا يعني ذلك للشركات والمؤسسات؟
بالنسبة للمؤسسات، لا تكمن أهمية التجربة في الأرقام وحدها، بل في ما تعنيه من حيث الإستراتيجية التقنية. إذا أمكن تدريب نموذج أساسي قادر على الاستدلال بكلفة منخفضة، فقد يصبح من الممكن للشركات بناء نماذجها الخاصة الخاصة بمجالات العمل الحساسة، مثل التمويل والامتثال وإدارة المخاطر والبحث الداخلي، من دون الاعتماد الكامل على مزودين خارجيين.
الفريق البحثي يرى أن هذه الفئة من النماذج يمكن أن تعمل باعتبارها نواة استدلال صغيرة ومضبوطة، بينما تُستكمل المعرفة الواقعية عبر أنظمة استرجاع خارجية أو قواعد بيانات داخلية. بهذا الشكل، لا يعود النموذج مضطراً إلى حفظ كل شيء خلال التدريب، بل يركّز على التفكير المنهجي وتنفيذ المهام متعددة الخطوات.
هذا التصور ينسجم مع احتياجات الشركات التي تتعامل مع بيانات ملكية أو تنظيمية أو مالية لا ترغب في تعريضها لبنى سحابية ضخمة، لكنها في الوقت نفسه تحتاج إلى أداة ذكاء اصطناعي قادرة على فهم السياق واتخاذ قرارات استدلالية ضمن بيئة محكومة.
حدود التجربة وما التالي
مع ذلك، لا يقدم الباحثون النموذج باعتباره بديلاً جاهزاً لأنظمة المحادثة العامة الشائعة. فالتجربة الحالية تُعرض بوصفها إثباتاً على أن بنية مختلفة قد تفتح مساراً جديداً، لكنها لا تزال بحاجة إلى طبقات إضافية من التخصيص والتكامل قبل أن تتحول إلى منتج مؤسسي متكامل.
كما أن طريقة التدريب على أزواج التعليمات والإجابات فقط قد تجعل المقارنات مع النماذج التي تمر بمراحل تدريب مختلفة أكثر تعقيداً، وهو اعتراض يتوقع الباحثون ظهوره في أي تقييم مستقل. ومع ذلك، يؤكد الفريق أن النهج أقرب إلى طريقة الاستخدام الفعلية في البيئات المؤسسية، حيث يطرح المستخدم سؤالاً أو مهمة محددة ويتوقع إجابة دقيقة ومنظمة.
إلى جانب ذلك، سيحتاج التطبيق العملي إلى دعم هندسي مناسب في ما يتعلق بإدارة الذاكرة والتكامل مع أدوات النشر والتخصيص والتحكم في التوليد. لذا فإن قيمة المشروع الحالية تكمن في إثبات المبدأ: ليس ضرورياً دائماً أن يكون النموذج أكبر حتى يكون أكثر فائدة.
إذا ثبتت هذه النتيجة عبر تجارب أوسع، فقد يشهد قطاع الذكاء الاصطناعي تحولاً من سباق الحجم إلى سباق الكفاءة، حيث يصبح السؤال الأساسي ليس كم عدد المعاملات في النموذج، بل ما الذي يمكنه تعلمه فعلاً، وبأي تكلفة، ولأي نوع من الأعمال.