يقدم بائعون مثل Databricks و Microsoft و NVIDIA و Snowflake تطبيقات مختلفة لتوجيه النماذج، بهدف تحسين التكلفة أو الجودة أو الأداء العام للنظام. احذر فخ باريتو.
يمكن أن يكون تشغيل النماذج الرائدة لأغراض البرمجة وغيرها مكلفًا للغاية، ولكنه في بعض الأحيان فعال جدًا. من المغري استخدام نماذج أصغر أو أقدم بدلاً من النماذج الرائدة لأنها أرخص، على الرغم من أنها قد لا تعمل بنفس الكفاءة. يميل النموذج المثالي لأي مهمة معينة إلى الاعتماد على مدى تعقيد المهمة. يُطلق على اختيار النموذج الأنسب تلقائيًا بناءً على الطلب والسياق اسم توجيه النماذج.
كيف يعمل توجيه النماذج؟
هناك عدة طرق لتطبيق توجيه النماذج. بشكل عام، يعتمد توجيه النماذج على مجموعة النماذج المتاحة، والمعايير المستخدمة لاختيار النموذج، والهدف الذي يحاول الموجه تحسينه. يقدم البائعون المختلفون تطبيقات مختلفة لهذا المخطط.
تتضمن بوابة Unity Gateway من Databricks (في المرحلة التجريبية) ميزة التوجيه الذكي لـ Codex أو Claude Code. يختار التوجيه الذكي تلقائيًا النموذج الأقل تكلفة القادر على التعامل مع كل مهمة، بحيث لا يحتاج المطورون إلى اختيار نموذج لكل طلب.
يقوم موجه النماذج من Microsoft، وهو نموذج لغوي مدرب، بتحليل طلباتك في الوقت الفعلي بناءً على التعقيد والاستدلال ونوع المهمة وسمات أخرى. لا يقوم بتخزين طلباتك. يوجه فقط إلى النماذج المؤهلة بناءً على أنواع وصولك ونشرك، مع احترام حدود مناطق البيانات. يمكنك اختيار وضع متوازن أو وضع التكلفة أو وضع الجودة.
يستخدم Not Diamond Code وكيلًا محليًا خفيف الوزن يحسب البيانات الوصفية المشتقة اللازمة للتوجيه لتقييم الجلسة الأوسع، بما في ذلك العمل المتوقع اللاحق وحالة التخزين المؤقت، ويختار النموذج وجهد الاستدلال الذي يحسن الجودة المتوقعة والتكلفة الإجمالية للجلسة.
يحتوي NeMo Switchyard من NVIDIA على مجموعة من خوارزميات التوجيه التي يمكنه استخدامها. تشمل هذه الخوارزميات مصنف النماذج اللغوية الكبيرة، الذي يستخدم نموذجًا لغويًا كبيرًا كحَكَم لاختيار نموذج لغوي كبير مرشح ويحافظ على تقارب الجلسة مع هذا النموذج عبر الأدوار اللاحقة؛ وموجه المراحل، الذي يفحص نشاط الأداة الأخير لتحديد مدى قدرة النموذج التي يحتاجها الوكيل؛ وموجه التصعيد، الذي يبدأ كل محادثة بنموذج أقل تكلفة وينقل الجلسة إلى نموذج أكثر قدرة عندما يكتشف صعوبة مستمرة؛ وموجه التعبئة المسبقة القابل للتدريب، الذي يتعلم من بيانات عبء العمل للتنبؤ باحتمالية نجاح النموذج.
يقوم الموجه التلقائي من OpenRouter بتحليل طلبك ويختار نموذجًا بناءً على ما يستخدمه مجتمع OpenRouter، بشكل إجمالي، لهذا النوع من العمل. يتقيد الاختيار بفئة التكلفة الخاصة بك والضوابط الوقائية. إذا فشل الاختيار الأساسي التلقائي، يستخدم الموجه خيارًا احتياطيًا.
يقوم توجيه النماذج الذكي من Replit بمطابقة المهام مع النموذج الأنسب لها، بهدف الموازنة بين الجودة والسرعة والتكلفة.
تستخدم بوابة Cortex AI من Snowflake توجيه النماذج الديناميكي لاختيار النموذج الأكثر تكلفة والذي يمكنه إكمال المهمة بثقة في كل خطوة من خطوات تنفيذ الوكيل. يمكن توجيه المهام الأقل تعقيدًا والمتكررة إلى نماذج أكثر كفاءة، بينما يمكن توجيه أعباء العمل التي تتطلب استدلالًا أعمق إلى النماذج الرائدة.
تجدر الإشارة أيضًا إلى أن ورقة RouteLLM (2024) اقترحت عدة نماذج موجهة فعالة تختار ديناميكيًا بين نموذج لغوي كبير أقوى وآخر أضعف أثناء الاستدلال، بهدف تحسين التوازن بين التكلفة وجودة الاستجابة. كما اقترحت إطار عمل تدريبي لهذه الموجهات يستفيد من بيانات التفضيلات البشرية وتقنيات زيادة البيانات لتعزيز الأداء.
ما هي تكاليف وفوائد توجيه النماذج؟
يمكن أن يوفر توجيه النماذج تخفيضات هائلة في التكاليف، وزمن استجابة متوسط أقل، وجودة محسنة، وتقليل الاعتماد على بائع واحد، وخصوصية معززة، ومرونة تشغيلية محسنة. على أساس التكلفة البحتة، من المرجح أن يغطي توجيه النماذج تكاليفه إذا تجاوز عدد المستخدمين النشطين يوميًا 100,000. حتى لو وفرت 20% فقط من فاتورة النماذج اللغوية الكبيرة الخاصة بك، يمكن أن تكون المدخرات كبيرة، ولكن تخفيض التكلفة بنسبة 50% أمر شائع، وتخفيض بنسبة 95% ليس مستبعدًا.
تكاليف الاستدلال، للأسف، لا تروي القصة كاملة. تشمل بعض التكاليف غير المباشرة تكاليف تقييم الجودة، والمراجعة البشرية، والبنية التحتية.
هناك أيضًا وضع فشل سيء يمكن، على سبيل المثال، أن يحول وفورات تكلفة الاستدلال الخاصة بك إلى تكاليف الاحتفاظ بالعملاء والدعم التي تفوقها بأربعة إلى خمسة أضعاف: فخ باريتو. لفهم ذلك، يجب أن نبدأ بملاحظة فيلفريدو باريتو عام 1906 بأن 80% من الأراضي في مملكة إيطاليا كانت مملوكة لـ 20% من السكان. تم تكييف ذلك في عام 1941 بواسطة جوزيف إم. جوران لتطبيقه على مراقبة الجودة: 80% من المشاكل تنبع من 20% من الأسباب.
هناك خطوات متعددة يمكنك اتخاذها لتجنب هذا الفخ. إحداها هي المراقبة الأوسع، بما يكفي لإظهار الإخفاقات حتى لو ظهرت في قسم مختلف. والأخرى هي ضبط أكثر تحفظًا لموجه النماذج. وثالثًا، يمكنك استخدام نموذج توجيه أكثر تعقيدًا للتنبؤ بتعقيد الاستعلام بدقة أكبر.
يعمل توجيه النماذج على تحسين اختيار النماذج المناسبة للمهام المحددة، موازنًا بين التكلفة والجودة وزمن الاستجابة. يطبق البائعون المختلفون توجيه النماذج بطرق متباينة، مستخدمين عوامل مثل تعقيد المهمة والاستدلال والتكلفة لتحديد النموذج الأفضل. بينما يوفر توجيه النماذج وفورات كبيرة في التكاليف وأداءً محسّنًا، فإنه يطرح أيضًا تحديات مثل فخ باريتو، حيث يمكن أن يؤدي الإفراط في التحسين من أجل التكلفة إلى إخفاقات خفية في الاستعلامات الأبسط.
