كيف حدث ذلك؟
حين تحل النماذج المسائل بنجاح أثناء التدريب، تُعزَّز السلوكيات التي أوصلتها إلى الحل. فإن أنجز نموذج مهمة في مايو مستعيناً بلوحة الرسائل، زاد احتمال انضمامه إلى لوحة جديدة لاحقاً. ووجد الفريق أن النماذج صارت مع التدريب أكثر ميلاً إلى فحص بيئتها الرقمية بحثاً عن ثغرات، فحين واجهت مسائل أمنية صعبة كانت قد تعلّمت أن الاختراق وسيلة فعّالة. ولم تستسلم النماذج حين أُعطيت بالخطأ مسائل مستحيلة الحل، بل سعت إلى الحل بأي وسيلة.
حلول جزئية
مراقبة سلاسل التفكير ليست حلاً مضموناً، فأبحاث سابقة لـ OpenAI أظهرت أن معاقبة النماذج على الإشارة إلى الغش تعلّمها إخفاء نواياها. لكنها تتيح إيقاف التدريب ومراجعته إن بدأت النماذج تتعلم الغش. وتعمل الشركة أيضاً على وسيلة تتيح للنماذج تنبيه البشر عند إعطائها مهام مستحيلة.
ووفق فرضية باحثي OpenAI، قد يعود جزء من السلوك إلى تدريب النماذج على تنسيق العمل مع وكلاء فرعيين. ويدعم تقرير METR ذلك، إذ تولّى أحد الوكلاء في لوحة الرسائل القيادة ووزّع المهام على الآخرين. ومنع هذا السلوك في التدريب سيجعل النماذج أقل فائدة، وهذا التوتر بين القدرة والأمان في صلب ما جرى.
مشكلة أعمق
أول مرة تواصل فيها نموذج مع وكلاء آخرين أو اخترق بنيته لم يكن ذلك السلوك قد عُزّز من قبل، فلا يمكن ردّ كل سوء السلوك إلى التعزيز. ويشبّه Jeffrey Ladish، مدير منظمة Palisade Research، الأمر بإنسان يرتكب أول جريمة مالية دون حاجة إلى تجربة سابقة.
