كيف يتدرب GPT-Red؟
وجّهت OpenAI النموذج نحو حقن الأوامر، حيث تخدع تعليمات مخفية في بريد أو صفحة ويب أو ملف النموذج ليفعل ما لا ينبغي. ويتعلم GPT-Red عبر حلقة لعب ذاتي ضد مجموعة من النماذج المدافعة؛ يُكافأ هو على الهجوم الناجح، وتُكافأ المدافعة على صده، وكلما تحسّنت الدفاعات اضطر إلى ابتكار حيل أشد. وخصصت الشركة للنموذج بعضاً من أكبر عمليات الحوسبة في تاريخها، وهو حجم غير مسبوق لأعمال الأمان وفق وصفها.
واكتشف GPT-Red فئة هجمات جديدة لم يرها الفريق من قبل، سماها سلسلة التفكير المزيفة، تزرع ملاحظة كاذبة في ذاكرة العمل الخاصة بالنموذج المستهدف فتخدعه ليصدق أمراً غير صحيح.
اختراق آلة البيع
امتدت الاختبارات إلى العالم الفعلي؛ ففي أحدها هاجم GPT-Red وكيل Vendy الذي يدير آلة بيع حقيقية في مكتب OpenAI، من تطوير Andon Labs، فغيّر الأسعار وخفّض سلعة غالية إلى الحد الأدنى البالغ 50 سنتاً وألغى طلب أحد العملاء. وأعلنت OpenAI أنها أبلغت عن الثغرات.
وكانت النتائج لافتة: نجح أكثر من 90% من أقوى هجماته ضد GPT-5 القديم، مقابل أقل من 23% ضد GPT-5.6 الجديد. وفي إعادة لاختبار أُجري عام 2025، تفوّق على المختبرين البشر بنجاحه في 84% من السيناريوهات مقابل 13% لهم.
لماذا لن يُطرح؟
درّبت OpenAI نموذج GPT-5.6 في مواجهة GPT-Red، وتصفه بأنه أكثر نماذجها صموداً أمام حقن الأوامر، لكنها لن تتيح المهاجم نفسه حتى تبقى قدراته بعيدة عن مختطفي الوكلاء الحقيقيين.
ولا يزال للنموذج نقاط ضعف؛ فهو ضعيف في الهجمات الطويلة متعددة الجولات وفي إخفاء التعليمات داخل الصور، ويواصل المختبرون البشر رصد ما يفوته. والفكرة الأوسع حلقة متصاعدة: استخدام نماذج اليوم لتحصين نماذج الغد، على أن تنشر الشركة ورقة بحثية كاملة لاحقاً.
