يُظهر أحدث تقرير صادر عن METR أن نماذج الذكاء الاصطناعي لا تزال تتحسن بوتيرة سريعة، لكنها تُبدي بعض نقاط الضعف في المهام التي تتطلب إصدار الأحكام. يُشير تقرير جديد صادر عن منظمة METR غير الربحية لتقييم الذكاء الاصطناعي إلى أن بعض قدرات الذكاء الاصطناعي تواصل تحسنها بمسار أسي، لكنه يوضح أيضًا أن النماذج ليست جيدة تمامًا في المهام التي تتطلب إصدار الأحكام بقدر كفاءتها في البرمجة.
يُعد التقرير تحديثًا لمخطط الأفق الزمني للمنظمة، والذي جرى تداوله على نطاق واسع وسوء تفسيره بشكل كبير، نظرًا لتعقيد المقاييس التي استخدمها. قامت METR بتقييم النماذج من خلال جعلها تحاول إنجاز مجموعة كبيرة من المهام، وقد أكمل البشر كل مهمة منها أيضًا. جُرى تقييم صعوبة كل مهمة بناءً على المدة التي استغرقها المختبرون البشريون لإنهائها، ثم جرى تصنيف النماذج وفقًا لطول المهام التي يمكنها إكمالها. أظهر ذلك المخطط أن أنظمة الذكاء الاصطناعي كانت تتحسن بسرعة، فكل أربعة أشهر، تضاعف طول المهام التي يمكن للنماذج الرائدة إكمالها بنجاح.
ما هو مخطط الأفق الزمني لـ METR؟
أحد أكبر الأسئلة في مجال الذكاء الاصطناعي حاليًا هو مدى انتقال التقدم في المهام القابلة للتحقق – حيث يمكن التحقق تلقائيًا مما إذا كان نظام الذكاء الاصطناعي قد نجح أو فشل – إلى المهام التي يصعب قياس النجاح أو الفشل فيها.
يعرف الباحثون كيفية تعليم الشبكات العصبية أداء المهام القابلة للتحقق: يجعلون الأنظمة تحاول إنجاز المهمة عدة مرات، ويقوون المسارات العصبية التي تساهم في النجاح، ويضعفون المسارات التي تساهم في الفشل. لهذا السبب، أصبحت أنظمة الذكاء الاصطناعي جيدة جدًا في البرمجة والرياضيات، وهما مجالان يمكن فيهما تحديد ما إذا كان الحل يعمل أم لا تلقائيًا.
لماذا تتفوق النماذج في بعض المهام وتقصر في أخرى؟
من الأصعب بكثير تطبيق هذه التقنية، المعروفة بالتعلم المعزز، على المهام التي يكون فيها النجاح أقل تحديدًا أو يستغرق وقتًا أطول للتأكد منه، مثل اختيار اتجاه بحثي جديد. للسبب نفسه، من الصعب تقييم أداء الذكاء الاصطناعي في هذه المهام، لذلك لم يتضمن مخطط الأفق الزمني الأصلي لـ METR أيًا منها. لكن هذا النوع من المهام بالتحديد هو الذي سيثبت أهميته إذا كان لأنظمة الذكاء الاصطناعي أن تقوم بأتمتة البحث والتطوير.
ويُعد البحث والتطوير في مجال الذكاء الاصطناعي موضوعًا ساخنًا بشكل خاص في الوقت الحالي. لا يزال جزء من مجتمع الذكاء الاصطناعي يتأثر بتقرير مختلف صادر عن METR في وقت سابق من هذا الشهر، والذي ادعى أن الذكاء الاصطناعي قد يسرع وتيرة تقدم الذكاء الاصطناعي في أنثروبيك بعامل اثنين. أثار ذلك التقرير مخاوف من أن الشركة قد تحقق قريبًا تحسينًا ذاتيًا تكراريًا كاملاً، وهو نظام تصمم فيه أنظمة الذكاء الاصطناعي خلفاءها بشكل مستقل دون تدخل بشري.
عمل باحثو METR على التأكد من أن مجموعتهم الجديدة من المهام تتضمن بعض المهام الأكثر غموضًا والتي تتطلب إصدار الأحكام، والتي قد تكون الأكثر صلة بالبحث والتطوير في مجال الذكاء الاصطناعي. في إحدى المهام، يطلبون من النماذج تصميم تقييمات جديدة للذكاء الاصطناعي يمكن لـ METR استخدامها في أبحاثها، ثم يقوم موظفو METR البشريون بتقييم النتائج. على الرغم من أن النماذج الأكثر تقدمًا أصبحت الآن أفضل من كل البشر تقريبًا في هندسة البرمجيات، إلا أنها تقصر هنا: لم يكن أي من التقييمات التي صممها الذكاء الاصطناعي جيدًا بما يكفي ليعتبره موظفو METR مفيدًا لأبحاثهم.
في مهمة أخرى، يتعين على النماذج تقييم الحجج الفلسفية. تهدف هذه المهمة إلى قياس مدى قدرة النماذج على ممارسة حكم جيد، على الرغم من أن METR تذكر في التقرير أن الموظفين يختلفون حول مدى صلة المهمة بأتمتة البحث والتطوير في مجال الذكاء الاصطناعي. في هذه المهمة أيضًا، قصرت النماذج عن الأداء البشري.
على الرغم من صعوبة تقييم هذه المهام الجديدة، والأصعب تحديد معنى الدرجات، فإن الخبراء الذين جرى التحدث معهم يقدرون أن METR تدمج أنواعًا جديدة من التقييمات في عملها. يقول سايش كابور، عالم الحاسوب والأستاذ القادم في جامعة كاليفورنيا بيركلي: "نحن في نقطة تحتاج فيها تقييمات الذكاء الاصطناعي إلى أن تصبح أكثر إبداعًا. محاولة دفع حدود مجال التقييمات هو تغيير مرحب به." لم يتفاجأ كابور برؤية أن النماذج تقصر في الأداء في المهام الأكثر انفتاحًا، مثل تصميم تقييم للذكاء الاصطناعي، ففي مسودة أولية من أغسطس، أفاد هو وزملاؤه أن نماذج الذكاء الاصطناعي ليست قادرة بعد على إعادة إنتاج أبحاث علوم الحاسوب البشرية بمفردها.
وفي منشور مدونة يوم الأربعاء، أفادت OpenAI أن نماذجها لا تؤدي بنفس الجودة في مهام العالم الحقيقي التي يخصصها لها موظفوها، كما تفعل في المهام الأسهل والأكثر قابلية للتحقق في مجموعة METR الأصلية. لا يزال الناس يختلفون حول كيفية تفسير اختلافات الأداء الحالية في المهام سهلة التحقق والمهام التي يصعب التحقق منها، بحسب كابور. على الرغم من أنه يرى أن الذوق البحثي – القدرة على اختيار الأسئلة والفرضيات والتجارب الواعدة – سيشكل عقبة رئيسية في أتمتة البحث والتطوير في مجال الذكاء الاصطناعي، هناك من يرى أن النماذج المدربة على المهام سهلة التحقق ستكون قادرة في النهاية على إكمال المهام المفتوحة بنجاح أيضًا. ولا يبدو أن التقدم في المهام القابلة للتحقق يتباطأ.
حتى لو كانت النماذج تتخلف عن الأداء البشري في المهام المفتوحة حاليًا، فإن التقرير الجديد يشير إلى أنها قد تتحسن.
ولكن نظرًا لأن هذه المهام المفتوحة والتي تتطلب الكثير من الحكم صعبة التصميم والتقييم، فإن METR تدرج عددًا قليلاً منها في تقريرها، مما يجعل من الصعب التنبؤ بما إذا كانت النماذج ستستمر في التقدم في هذه المجالات وكيف. تقول ناجونغ كيم، عالمة اللغويات وعلوم الحاسوب في جامعة بوسطن: "التحسن الذي نلاحظه، أعتقد أنه يخبرنا بشيء للحظة الراهنة. لست متأكدة بعد كيف يمكن التفكير في كيفية استقراء ذلك."
يقول مات بوتز، عضو الطاقم الفني في METR، إن التنبؤ بالتقدم في هذه الأنواع من المهام من المرجح أن يظل صعبًا. ويضيف: "بطبيعتها، المهام التي يصعب التحقق منها أو التي تتطلب إصدار الأحكام أصعب بكثير في الدراسة، وخاصة في القياس الكمي. في النهاية، لا أعتقد أننا سنتمكن من وضع اتجاهات واضحة وقوية كما هو الحال بالنسبة للمهام سهلة التحديد." بشكل عام، تواجه METR بوضوح الصعوبات العملية في اختبار أداء الذكاء الاصطناعي في المهام الصعبة وغير المحددة بدقة، وهي بالتحديد المهام الأكثر صلة بأتمتة البحث والتطوير في مجال الذكاء الاصطناعي.
تقوم مخططات الأفق الزمني لـ METR بتقييم صعوبة المهام من خلال تقدير المدة التي سيستغرقها الإنسان لإكمال المهمة، وبالنسبة للمخطط الأصلي، جرى قياس هذه الكمية عن طريق جعل الأشخاص يحاولون فعليًا كل مهمة. في التقرير الجديد، مع ذلك، فإن أوقات الإنجاز هي تقديرات في الغالب، لأن دفع أجور للأشخاص مقابل مهام قد تستغرق مئات الساعات، أو التي لا يتأهل لإكمالها سوى عدد قليل من الخبراء، مكلف للغاية ويستغرق وقتًا طويلاً. توجد في مهام أخرى أوجه قصور أكثر تحديدًا، فعلى سبيل المثال، بالنسبة لمهمة الحجج الفلسفية، قام شخص واحد فقط بتقييم معظم الحجج، ويُحكم على الوكلاء بمدى توافقهم مع ذلك الفرد المحدد. من المحتمل أن تتغير الدرجات إذا جرى استطلاع رأي المزيد من الخبراء، لكن ذلك أيضًا يستغرق وقتًا طويلاً.
لا يزال الوقت مبكرًا لتقييم النماذج في المهام التي يصعب التحقق منها أو تتطلب إصدار الأحكام. وبينما يرى الخبراء الذين جرى التحدث معهم أن إدراج هذه المهام في أحدث مخطط أفق زمني لـ METR هو خطوة واضحة في الاتجاه الصحيح، فإنهم يتفقون على أننا لا نزال بعيدين عن الحصول على أي إجابات نهائية حول ما إذا كان البحث والتطوير الآلي للذكاء الاصطناعي قادمًا، ومدى سرعة ذلك. يقول كابور: "هذه الخطوة نحو المهام المفتوحة واعدة." لكنه يضيف: "هناك الكثير الذي يجب القيام به للحصول على فهم أكمل."
أسئلة شائعة
ما هو الغرض من تقرير METR الجديد؟
يهدف تقرير METR الجديد إلى تحديث تقييمات نماذج الذكاء الاصطناعي، مع التركيز على مدى تقدمها في المهام التي تتطلب إصدار الأحكام والمهام المفتوحة، بالإضافة إلى المهام القابلة للتحقق.
ما هي أبرز نقاط ضعف نماذج الذكاء الاصطناعي؟
تُظهر نماذج الذكاء الاصطناعي ضعفًا في المهام التي تتطلب إصدار الأحكام والمهام غير المحددة جيدًا، مثل تصميم تقييمات جديدة للذكاء الاصطناعي أو تقييم الحجج الفلسفية، مقارنةً بأدائها القوي في مهام البرمجة والرياضيات.
هل يمكن للذكاء الاصطناعي أتمتة البحث والتطوير؟
يشير التقرير إلى أن المهام التي تتطلب إصدار الأحكام ستكون ضرورية لأتمتة البحث والتطوير في مجال الذكاء الاصطناعي، لكن النماذج لا تزال تقصر في هذه المهام حاليًا، مما يجعل تحقيق الأتمتة الكاملة بعيد المنال في الوقت الراهن.



