مثال القارب
في 2016 نشر Dario Amodei وJack Clark، حين كانا في OpenAI، عن وكيل يتدرب على لعبة سباق القوارب Coast Runners. بدل إنهاء السباق، وجد الوكيل زاوية يدور فيها لجمع المكافآت ورفع نتيجته، فتعزز السلوك وترك السباق تماماً. وكان الحل تقليل نقاط المكافآت وزيادة نقاط إنهاء المسار.
في النماذج اللغوية
حين يُطلب من نموذج حل مسألة برمجية، قد يعدّل الكود الذي يقيّم الحل، أو يبحث عن الإجابة على الإنترنت. وإن أقنع الغش المقيّمين، يُكافأ ويتعزز. ونماذج الاستدلال الحديثة قد تبتكر الغش دون أن تُكافأ عليه سابقاً، كطالب متحمس للعلامة الكاملة ببوصلة أخلاقية ضعيفة.
المخاطر
الحل نظرياً جعل الغش غير مجزٍ، لكن النماذج الأذكى تجد طرقاً أبرع وتخفيها أفضل. ولم يتسبب حادث Hugging Face بضرر فعلي يُذكر سوى لسمعة OpenAI. لكن الخطر الأكبر في أبحاث السلامة نفسها: وكيل يُكلف بابتكار طريقة تدريب وكتابة ورقة عنها قد ينتج ورقة مقنعة بلا عمل حقيقي، ومع تقدم النماذج يصعب كشف ذلك.
