عندما أعلنت جوجل عن Gemini 4 Argon لمجموعة صغيرة من المختبرين في 30 سبتمبر، جاء ذلك مع جدول معايير وضع Argon متفوقًا على Claude Opus 5.5 في 14 من أصل 18 اختبارًا. شملت هذه الاختبارات DeepSWE (77.9% مقابل 74.2%) و GraphWalks بحجم 256 ألف إلى مليون رمز (84.2% مقابل 66.8%). بعد أسبوعين، في 13 أكتوبر، فتحت جوجل Argon لمطوري واجهة برمجة تطبيقات Gemini المدفوعة.
وللإنصاف، أظهرت جوجل أيضًا المجالات التي يتفوق فيها Opus 5.5. يتصدر Opus في المعايير الأربعة الأخرى، بما في ذلك Terminal-bench 4.0 (66.4% مقابل 57.4%)، الذي يختبر العمل الوكيل في سطر الأوامر.
كما أن جوجل تقلل من سعر Anthropic، على الأقل في الوقت الحالي. حتى 30 نوفمبر، يكلف Argon 2 دولار لكل مليون رمز إدخال و 10 دولارات لكل مليون رمز إخراج، وهو نصف سعر Opus 5.5. في 1 ديسمبر، يرتفع السعر إلى 4 دولارات و 20 دولارًا، ليطابق سعر Opus. يمنح ذلك المطورين حوالي ستة أسابيع ليقرروا ما إذا كان Argon أفضل أم أرخص فقط.
لا تتطابق المعايير دائمًا مع العمل الحقيقي، وفترة نصف السعر لا تهم إلا إذا كان النموذج يطابق المنافس في الجودة. لمعرفة ما إذا كان Argon أفضل أم أرخص فقط (في الوقت الحالي)، اختبرت كلا النموذجين وجهًا لوجه في ثلاث مهام صعبة من الفئات التي تدعي جوجل فيها الريادة.
كيف تم إجراء الاختبارات؟
أجريت كل اختبار مرة واحدة لكل نموذج عبر OpenRouter، على خوادم جوجل و Anthropic الخاصة، بإعدادات الاستدلال الافتراضية. قام نص برمجي بتقييم كل إجابة مقابل مفاتيح قمت ببنائها والتحقق منها قبل اختبار أي من النموذجين.
- البحث عن الأخطاء (Bug hunt) – مكتبة بايثون مكونة من 3500 سطر تحتوي على 14 خطأ منطقيًا مزروعًا وخمسة أخطاء تمويهية. قام كل نموذج بمراجعة الكود، ثم أصلح ما وجده.
- مواصفات الفواتير (Billing spec) – مواصفات لمحرك فواتير اشتراك، تم تقييمها بواسطة 80 اختبارًا مخفيًا حول التوقيت الصيفي، وتواريخ نهاية الشهر، والتقريب.
- السياق الطويل (Long context) – ويكي وهمي يضم 400 خدمة ذات تبعيات متفرقة، بثلاثة أحجام. أجاب كل نموذج على ثلاثة أسئلة رسوم بيانية مع مصائد مزروعة.
كيف كانت نتائج البحث عن الأخطاء؟
كانت هذه المهمة تعادلًا. وجد كلا النموذجين جميع الأخطاء الـ 14، بما في ذلك أربعة أخطاء لا تظهر إلا عند تتبع قيمة عبر ثلاثة ملفات أو أكثر. لم يحدد أي منهما خطأ تمويهيًا. في المتابعة، أصلح كلاهما جميع الأخطاء الـ 14 دون كسر أي من الاختبارات الـ 93 الموجودة.
كان Argon أرخص. بلغ متوسط تكلفة مراجعته سنتًا واحدًا لكل خطأ تم العثور عليه، مقارنة بـ 2.4 سنت لـ Opus، وهو متوسط قمت بحسابه من الإجمالي لكل مكالمة بدلاً من القياس لكل خطأ. سيظل Argon أرخص بسعره الكامل في 1 ديسمبر، لأنه استخدم عددًا أقل من الرموز.
- الأرقام:
- المراجعة
- Argon: 53,031 إدخال، 3,964 إخراج، 0.15 دولار، 43.0 ثانية.
- Opus: 64,572 إدخال، 4,053 إخراج، 0.34 دولار، 38.9 ثانية.
- الإصلاح
- Argon: 54,923 إدخال، 24,292 إخراج، 0.35 دولار، 186.6 ثانية.
- Opus: 66,465 إدخال، 34,263 إخراج، 0.95 دولار، 219.8 ثانية.
ماذا عن مواصفات الفواتير؟
هنا بدأت الدقة تختلف بين النموذجين. اجتاز Opus جميع الاختبارات المخفية الـ 80، ثم جميع الـ 100 بعد متابعة العملة. بينما اجتاز Argon 11 من أصل 80، ثم 20 من أصل 100.
لم يفشل Argon في غالبية الاختبارات بسبب منطق سيء. لقد فشل لأنه ارتكب خطأ صغيرًا في وقت مبكر. مرر الكود الخاص به وسيطًا إضافيًا إلى datetime.combine() في بايثون، مما يثير خطأ، وتعتمد معظم الوحدة على هذه المساعدة. عندما قمت بتصحيح هذا السطر بنفسي، سجل Argon 80/80 و 100/100. احتفظت بالنتائج الرسمية كما تم تقييمها ولكن أردت شرح ما حدث، وليس مجرد سرد النتائج، في هذه الحالة.
بشكل عام، كان Argon أرخص، لكن الفارق بين تسعير Opus و Argon سيختفي بمجرد انتهاء فترة التكلفة المنخفضة، على الرغم من أن استخدام Argon الأقل للرموز سيظل يجعله أرخص في هذا الاختبار.
- الأرقام:
- البناء
- Argon: 3,907 إدخال، 3,727 إخراج، 0.05 دولار، 54.1 ثانية.
- Opus: 5,236 إدخال، 7,763 إخراج، 0.18 دولار، 63.0 ثانية.
- المتابعة
- Argon: 8,881 إدخال، 4,673 إخراج، 0.06 دولار، 41.5 ثانية.
- Opus: 11,807 إدخال، 7,267 إخراج، 0.19 دولار، 51.9 ثانية.
كيف كانت نتائج السياق الطويل؟
يحسب كل بائع الرموز بشكل مختلف. بلغت وثيقتي البالغة 500 ألف رمز 549,483 رمزًا على Argon و 784,087 رمزًا على Opus. بلغت وثيقتي البالغة 900 ألف رمز 1.4 مليون رمز على أداة ترميز Claude، لذلك رفضتها واجهة برمجة تطبيقات Anthropic. أضفت وثيقة ثالثة بحوالي 600 ألف رمز، وهي الأكبر التي يمكن أن يستوعبها كلا النموذجين.
أجاب كلا النموذجين على سؤالين من أصل ثلاثة بشكل مثالي في كل حجم تم تشغيلهما فيه. جاء الاختلاف في سؤال نطاق التأثير (blast radius)، الذي يطلب كل خدمة تتعطل عند فشل خدمة واحدة. الإجابة هي 33 خدمة.
حصل Opus على جميع الـ 33 في حجم 500 ألف و 32 في حجم 600 ألف، بدون إدخالات خاطئة. في حجم 500 ألف، حصل Argon على 20 إجابة صحيحة و 8 خاطئة؛ في حجم 600 ألف، 19 إجابة صحيحة و 16 خاطئة؛ وفي حجم 900 ألف، 23 إجابة صحيحة و 2 خاطئة. في حجمي 600 ألف و 900 ألف، تعامل مع تبعية على أنها تمت إزالتها بعد أن أعادتها الويكي. على عكس خطأ الفواتير، لم يكن هذا خطأ صغيرًا. أخطأ Argon في الاستدلال في كل حجم. هذه علامة حمراء كبيرة.
على عكس خطأ الفواتير، لم يكن هذا خطأ صغيرًا. أخطأ Argon في الاستدلال عبر الإجابة بأكملها. هذه علامة حمراء كبيرة.
شيء آخر لاحظته هو أن Argon سارع في هذا الاختبار ذي السياق الطويل. أجاب Argon بسرعة دون إظهار أي عمل خطوة بخطوة، واستغرق Opus وقتًا أطول لأنه استدل أولاً. يظهر هذا في استخدام الرموز. استخدم Opus أكثر من 5000 رمز، معظمها للاستدلال، مقابل 243-425 رمزًا لـ Argon. من المحتمل أن يكون هذا مرتبطًا بإجابات Argon الخاطئة، على الرغم من أنني لا أستطيع إثبات السبب من تشغيل واحد.
كان Argon أرخص هنا، لكن لا يستحق استخدامه في مهمة مماثلة، حيث كان غير دقيق ومهمل إلى حد كبير.
- الأرقام:
- 500 ألف
- Argon: 549,483 إدخال، 264 إخراج، 1.10 دولار، 24.2 ثانية.
- Opus: 784,087 إدخال، 5,532 إخراج، 3.25 دولار، 68.3 ثانية.
- 600 ألف
- Argon: 652,492 إدخال، 425 إخراج، 1.31 دولار، 32.4 ثانية.
- Opus: 935,332 إدخال، 5,158 إخراج، 3.84 دولار، 69.1 ثانية.
- 900 ألف
- Argon: 982,367 إدخال، 243 إخراج، 1.97 دولار، 41.5 ثانية.
- Opus: لم يتم تشغيله.
ما هي النتائج الإجمالية؟
| الاختبار | Gemini 4 Argon | Claude Opus 5.5 | |---|---|---| | مراجعة البحث عن الأخطاء | 14 من 14، 0 إيجابيات خاطئة | 14 من 14، 0 إيجابيات خاطئة | | إصلاح البحث عن الأخطاء | 14 من 14، 93 من 93 اختبارًا تم الاحتفاظ بها | 14 من 14، 93 من 93 اختبارًا تم الاحتفاظ بها | | مواصفات الفواتير | 11 من 80 | 80 من 80 | | متابعة الفواتير | 20 من 100 | 100 من 100 | | نطاق التأثير، 500 ألف | 20 من 33، 8 خاطئة | 33 من 33 | | نطاق التأثير، 600 ألف | 19 من 33، 16 خاطئة | 32 من 33 | | نطاق التأثير، 900 ألف | 23 من 33، 2 خاطئة | مرفوض، أكثر من مليون رمز | | إجمالي الرموز المدخلة / المخرجة | 2,305,084 / 37,588 | 1,867,499 / 64,036 | | التكلفة الإجمالية | 4.98 دولار | 8.75 دولار | | الوقت الإجمالي | 423.3 ثانية | 511.0 ثانية |
لم تتطابق نتائجي مع معايير جوجل. تعادل Argon مع Opus في مراجعة الكود وإصلاحه بأقل من نصف التكلفة. خسر اختبار المواصفات بسبب سطر كود واحد سيء، وأخطأ أو اخترع خدمات في كل سؤال عن نطاق التأثير ذي السياق الطويل.
ما هو الاستنتاج؟
بناءً على هذه الاختبارات، لن أستخدم Argon. نعم، كان أرخص ودقيقًا مثل Opus في البحث عن الأخطاء، ولكن بعد العمل معه في الاختبارات الأخرى، لن أثق بـ Argon بشكل مطلق في أي مهمة.
لن أثق بـ Argon بشكل مطلق في أي مهمة.
يعد Opus 5.5 أحد النماذج الرائدة لـ Anthropic، ويصنفه مؤشر Artificial Analysis المستقل عند 58، متقدمًا على Argon الذي حصل على 53.
بينما تعمل جوجل جاهدة للحاق بالركب، إلا أنها لم تفعل ذلك بعد.
جرّب الأداة: فاحص الفروقات بين النصوص
