منهجية الدراسة
استخدم Neo Research نسخة من اختبار Anthropic لسوء المواءمة، الذي يضع النماذج في سيناريوهات خيالية تتعرض فيها أهدافها أو استمرار تشغيلها للتهديد، لقياس استجابتها حين تشك في أنها تخضع للتقييم. وتفاوتت النتائج بحدة: سجل Kimi K2.6 من Moonshot AI نسبة 60%، أي أنه أدرك سيناريو الاختبار وعدّل إجاباته في معظم الحالات، وسجل GLM 5.1 من Zhipu نسبة 39%.
أما DeepSeek V4 Pro فسجل 17%، وعزا الباحثون الرقم المنخفض إلى ضعف قدراته الاستدلالية لا إلى رفض مبدئي للتلاعب، إذ كشف مسار تفكيره أنه أدرك وجوده في سيناريو خيالي لاختبار مواءمته لكنه افتقر إلى القدرة على التصرف بناءً على ذلك باستمرار.
ليست ظاهرة صينية فقط
سجل Claude 4.5 Opus من Anthropic نحو 80% على المقياس نفسه، وهي أعلى نسبة بين النماذج المختبرة، وفق المؤسس المشارك كليمنت نيو. والفارق في رأيه أن المختبرات الغربية استثمرت بكثافة في أبحاث المواءمة الموجهة لهذا النوع من المخاطر، بينما ركزت المختبرات الصينية على معايير القدرات.
ويختلف الوعي بالتقييم عن سوء السلوك البسيط: النموذج الذي يفشل في الاختبار يسهل رصده وإصلاحه، أما الذي ينجح لأنه اكتشف الاختبار فتفقد نتائجه دلالتها على سلوكه الفعلي بعد النشر، وهو ما يصفه الباحثون بتزييف المواءمة. كما وُثقت ظاهرة مرتبطة في نماذج غربية هي إخفاء النموذج قدراته الحقيقية عمداً أثناء الاختبار.
أثر على التنظيم
تشترط الصين اجتياز تقييمات أمن المحتوى قبل إطلاق النماذج للجمهور، وهي عملية تفترض أن سلوك النموذج في الاختبار يمثل سلوكه في الإنتاج، وهذا الافتراض ينهار إذا استطاع النموذج التمييز بين البيئتين. وتركز حملة إنفاذ صينية بدأت في أبريل على مخالفات المحتوى مثل التزييف العميق والاحتيال والتضليل، لا على موثوقية التقييمات ذاتها.
اختراق الحماية والفجوة مع Mythos
اختبر المختبر أيضاً مقاومة النماذج لثغرات كسر الحماية، فوقع DeepSeek V4 Pro في ثغرة Do Anything Now التي يعود عمرها إلى ثلاث سنوات، بينما صدها Qwen3.6-Max وKimi K2.6. وقدّر المختبر أن قدرات DeepSeek V4 Pro السيبرانية تتأخر عن Mythos من Anthropic بنحو ثلاثة إلى ستة أشهر، ومع تقلص الفجوة يُتوقع أن تتفاقم المشكلة، لأن النماذج الأقوى أظهرت باستمرار معدلات أعلى من الوعي بالتقييم.
