التحدي هو أن عوامل أخرى مهمة في الإنتاج، مثل المعلومات المقدمة للنموذج ودقتها. لذا، لا يمكن للمعايير أن تخبر المهندس ما إذا كان الذكاء الاصطناعي الذي يطوره سيكمل المهمة بدقة، أو حتى على الإطلاق. وهذا مهم بشكل خاص لمهام الذكاء الاصطناعي طويلة الأمد.
يخبر رايان هانروي وانغ، نائب الرئيس الأول للذكاء الاصطناعي التطبيقي في مزود السحابة للذكاء الاصطناعي Nebius، موقع The New Stack بأنه من المهم قياس النموذج المفتوح بواسطة معايير الصناعة بالاقتران مع المعايير الداخلية والأدوات لضمان الحصول على نتائج الاستدلال التي تتطلبها المؤسسة، وهو أمر يقول إن الشركة التي تتخذ من أمستردام بهولندا مقراً لها تفعله دائماً بالشراكة مع عملائها.
انضم وانغ إلى Nebius عندما استحوذت على Eigen AI، الشركة الناشئة لتحسين الاستدلال التي شارك في تأسيسها وقادها كرئيس تنفيذي، في صفقة بلغت قيمتها حوالي 643 مليون دولار أُعلن عنها في مايو؛ تبيع Nebius الاستدلال من خلال منصتها Token Factory.
لماذا لا تكفي معايير النماذج المفتوحة؟
يقول وانغ: "غالباً ما يكون لدى العملاء معاييرهم الخاصة، لذلك يمكننا استخدام سير عمل وكيلهم وتتبعاته لمعرفة مستوى النجاح الذي يمكننا العمل به. نعمل دائماً عن كثب معهم لتحديد المعايير."
يضيف وانغ: "قد لا تغطي المعايير العامة المهام متعددة المجالات التي يريد المهندس أن يقوم بها الاستدلال في بيئة الإنتاج الفعلية." ويقول إن هذا يمكن أن يؤدي إلى عدم توافق مهام الوكيل مع التكلفة الحقيقية لاستدعاءات الاستدلال. ويضيف: "سير العمل لا يتم اختباره بتصميم المعيار. يجب أن يكون هناك تعلم في السياق."
لذلك، يجب ألا يقضي المهندسون والمؤسسات الكثير من الوقت في اختيار النموذج المفتوح؛ بل يجب عليهم النظر إلى مكدس الاستدلال بأكمله. يجب أن يعتمد اختيار النموذج على ما إذا كان المهندس يحتاج إلى مكدس نموذج مفتوح منخفض التكلفة ومرن أو نموذج رائد للاستدلال.
بالنسبة لأولئك الذين يحتاجون إلى تكلفة أقل، يقول وانغ إن Nebius تقيم نماذج مفتوحة مثل Kimi و DeepSeek، بالإضافة إلى نماذج "فلاش" أخف، لمعرفة ما إذا كانت تستطيع تلبية احتياجات دقة الاستدلال وما إذا كان التعديل الدقيق مطلوباً.
أولئك الذين يريدون دقة وجودة فائقة عادة ما يضيقون الخيارات إلى نموذجين أو ثلاثة نماذج مفتوحة كبيرة ثم يقومون بضبطها لتحسين الدقة. يقول وانغ إن اختيار النموذج المفتوح هو الخطوة الأولى فقط؛ بعد الاختيار، يحتاجون إلى ضمان أن مهام السياق الطويل والمدخلات المخزنة مؤقتاً تحقق النتيجة المتوقعة.
كيف يمكن تحسين دقة وسرعة الاستدلال؟
في مرحلة ما بعد التدريب، يقول وانغ إن المؤسسة تستخدم بياناتها لتحسين الدقة وملاءمة المهمة، بينما تعمل طبقة الخدمة، والتكميم، والتجميع، والتخزين المؤقت، وتحسين النواة على زيادة سرعة الاستدلال. بالإضافة إلى ذلك، يجب على المهندسين تطوير نظام التخزين المؤقت لحركة مرور الإنتاج، مما يضمن زيادة معدل الإصابة للعبء العملي بحيث تصل المدخلات المتكررة إلى ذاكرة التخزين المؤقت بدلاً من إعادة حسابها.
يضمن الحصول على التزامن الصحيح أن المؤسسة تستخدم النموذج المفتوح بفعالية؛ إنه توازن دقيق للمهندسين. إذا لم يتم استخدام الحوسبة بالكامل، فإن تكلفة الرمز تكون عالية. ولكن الاستخدام العالي مع زيادة التزامن يمكن أن يقلل من سرعة الرمز في الثانية للمستخدم النهائي.
يحتاج المهندسون أيضاً إلى مراقبة زمن الاستجابة الطرفي، وليس فقط المتوسطات. يقول وانغ: "P95 و P99 هي مقاييس مهمة لسرعة الرمز لكل مستخدم ووقت الرمز الأول (TTFT)؛ يجب أن يكون الوقت الذي يحتاجون إلى الانتظار أقل من خمس ثوانٍ لبعض عملائنا." يمكن للنظام أن يسجل متوسط وقت استجابة رائعاً ومع ذلك يكون غير قابل للاستخدام إذا توقف طلب واحد من كل عشرين طلباً.
هل الحجم الأكبر يعني دقة أفضل دائماً؟
يحتاج المهندسون إلى توخي الحذر عند النظر في نتائج المعايير والدقة. قد تختبر المعايير الاستدلال على مشكلة رياضية، وهو أمر غير مفيد جداً إذا كان المهندس يطور وكيل ذكاء اصطناعي لدعم العملاء، حيث تكون الذكاء العاطفي العالي (EQ) أكثر أهمية. يقول وانغ: "لذا هناك عدم توافق بين المعايير المختلفة والإنتاج الفعلي."
فيما يتعلق بالتكلفة لكل مهمة ناجحة، يقول وانغ إنه يجب على المهندسين أن يتذكروا أن الرموز الرخيصة عديمة الفائدة إذا كان النموذج غير دقيق.
يحتاج المهندسون إلى النظر في العملية الشاملة التي سيؤديها الذكاء الاصطناعي. وهذا يسمح للمهندسين باختيار النموذج المفتوح بالحجم المناسب لمهمة الذكاء الاصطناعي. يقدم وانغ مثالاً لوكيل مساعد متخصص حيث جمعت Nebius 6,000 تتبع لتحسين نموذج صغير وحسنت الدقة بنسبة 11% بينما نفذت مكالمات أدوات أقل بنسبة 22%.
يثير هذه النقطة لأنها تتعارض مع الميل إلى الاعتقاد بأن الأكبر أفضل، لكن مكاسب الدقة من زيادة حجم النموذج تتضاءل. يقول وانغ: "عادة ما تكون هناك نقطة تحول لهذا النوع من المهام." بالنسبة لمهمة مثل دعم العملاء، يقول، قد تكون 10 مليارات معلمة كافية، بينما 100 مليار أو حتى تريليون معلمة لا تحقق سوى مكاسب دقة ضئيلة. ويضيف: "ما نريده هو إيجاد النقطة المثلى."
يمكن للمهندسين استخدام النماذج الكبيرة كنقطة مرجعية، ثم ضبط الاستدلال ببيانات مؤسستهم للعثور على نموذج مفتوح بالدقة والحجم المناسبين للمهمة.
يقول وانغ: "نقوم عادة بمسح لعدة نماذج، باستخدام النموذج الأكبر كمرجع لمعرفة أين تقع النقطة المثلى لحجم النموذج." ويضيف: "بالنسبة للمهمة المعقدة، يمكننا تشريح المهمة المعقدة إلى مهام فرعية أصغر، بالعمل مع العميل، مما يربط سير العمل ويمكن بعد ذلك استخدام نماذج أصغر."
يصف وانغ هذه العملية بأنها تقسيم للعمل، مشيراً إلى الاقتصادي الشهير آدم سميث.
يُظهر هذا النهج مسار نضج هندسة الذكاء الاصطناعي. مثل كل قطاع في تاريخ التكنولوجيا والهندسة، يستهدف الاندفاع الأولي فكرة أن الأكبر أفضل. ومع نضوج الهندسة، تركز على النتائج والتميز الهندسي، وبالتالي على العمل مع الشركاء الذين يفهمون كيفية تحقيقها.
أحياناً يكون ذلك نموذجاً أكبر؛ وفي أحيان أخرى يكون تطوير متخصص صغير هو الأفضل.
جرّب الأداة: منسق ومتحقق JSON
