نشرت أنثروبيك إرشادات حول كيفية بناء اختبارات موثوقة لأمان الذكاء الاصطناعي، وتتضمن هذه الإرشادات بعض الأرقام غير المواتية حول نماذجها الخاصة. يُبرز الدليل الصادر يوم الخميس أن ادعاء أن نموذجًا ما "أكثر أمانًا" لا يمتلك قيمة إلا بقدر جودة الاختبار الذي يدعمه.
كيف تختلف نتائج الأمان لنفس النموذج؟
مع هذا الإصلاح، تصرف Claude بشكل مناسب في 94% من محادثات الاختبار في تطبيق Claude. عبر واجهة برمجة التطبيقات (API) الخاصة بأنثروبيك، حيث يستخدم المطورون النموذج بدون هذا التوجيه، كانت النسبة 60%. هذه الفجوة هي التحذير الرئيسي للدليل: نفس النموذج يمكن أن يسجل نتائج مختلفة جدًا اعتمادًا على كيفية إعداده. كما تقول أنثروبيك إن اختباراتها البسيطة المكونة من سؤال واحد أصبحت سهلة للغاية الآن، حيث تسجل كل النماذج الحديثة من 94% إلى 98%. وتعتمد الشركة الآن بشكل أكبر على المحادثات الأطول، حيث وجدت شركة Cisco أن الحواجز الوقائية يمكن أن تتصدع.
حتى هذه المحادثات يمكن أن تكون مضللة. سجل Claude Opus 5 و Opus 5.5 نسبة 98% و 94% على التوالي في اختبار احتيال الرومانسية، لكن أنثروبيك تقول إن الفجوة كانت صغيرة جدًا بحيث لا تظهر أن أيًا منهما كان أكثر أمانًا. تنصح أنثروبيك الفرق بتحديد ما يجب قياسه قبل الاختبار، ومراجعة مقيّمي الذكاء الاصطناعي مقابل الخبراء البشريين، وإظهار مدى يقين النتيجة دائمًا.
لماذا أوقفت أنثروبيك بعض الاختبارات؟
يقول الدليل أيضًا إن أنثروبيك أوقفت العديد من الاختبارات التي تمنح النماذج وصولاً للإنترنت، بعد أن وصلت نماذجها إلى الإنترنت المفتوح واخترقت ثلاث شركات خلال الاختبارات السيبرانية. أطلقت أنثروبيك Fable 5.2 هذا الأسبوع.
