يواجه قادة التكنولوجيا معضلة وهم يستعدون لوضع وكلاء الذكاء الاصطناعي في الإنتاج. إنهم يرغبون في زيادة الإنتاجية وتخفيض التكاليف التي يمكن أن يوفرها وكلاء الذكاء الاصطناعي. لكنهم يخشون مخاطر غير معروفة من قدرات الذكاء الاصطناعي التي تختلف عن بقية حزمة برامجهم. عندما يتخذ الوكيل قرارات ويتصرف بمفرده، فقد يكون يؤدي أفضل عمل لديه. وقد يكون أيضًا يؤدي أسوأ عمل لديه.
مع تزايد قدرات وكلاء الذكاء الاصطناعي، ترغب المؤسسات في ضمان أن إشرافها يمكن أن يواكب ذلك. كيف يحققون التوازن الصحيح بين الابتكار والمخاطر؟ يعتمد الأمر على مدى قدرتهم على تقييم الثقة في وكلائهم وقياسها والحفاظ عليها. كلما اكتسب الوكلاء ثقة أكبر، زادت الاستقلالية التي يمكن منحها لهم.
كيف يمكن إدارة الثقة في وكلاء الذكاء الاصطناعي؟
الثقة كخط ائتمان
فكر في طريقة إدارة مخاطر بطاقات الائتمان. عندما تتقدم بطلب للحصول على بطاقة، يقوم المصدر بتقييم تاريخك الائتماني وقدرتك على السداد قبل تحديد حد ائتماني. بعد ذلك، بمجرد حصولك على بطاقتك، تخضع المدفوعات لترخيص في الوقت الفعلي وضوابط الاحتيال. يمكن أن تؤدي المعاملات غير العادية إلى تدقيق إضافي. قد يؤدي دفع بطاقتك في الوقت المحدد إلى تحسين درجة ائتمانك، لكنه لن يزيد حد ائتمانك تلقائيًا.
يجب معاملة وكلاء الذكاء الاصطناعي بالمثل.
اختبر وكيل الذكاء الاصطناعي قبل الإنتاج للتأكد من مرونته وموثوقيته وأدائه. خصص له درجة ثقة بناءً على مدى أدائه. بمجرد نشر الوكيل، استمر في عمليات التحقق. أخضع كل إجراء ذي أهمية لتطبيق السياسات في الوقت الفعلي، وراقب الشذوذ. تعامل مع دليل تحسن أداء الوكيل كسبب لإبقاء الوكيل يعمل، وليس بالضرورة لمنحه المزيد من الاستقلالية أو النطاق ضمن حدود مخاطر المؤسسة.
تعرف على وضع وكيلك اليوم: اشترك في نسخة تجريبية مجانية لتقييم موثوقيته على ivijil.ai/benchmark
تخيل الآن أن البطاقة يمكنها إجراء عمليات شراء بمفردها. سترغب في قواعد تبقيها ضمن الميزانية، ودليل على أنها تنفق بالطريقة التي ستنفق بها أنت. هذا هو وكيل الذكاء الاصطناعي.
كسب هذه الثقة يتطلب حلقة عمل بأسلوب DevOps:
- اختبار مكثف قبل الإطلاق
- النشر بحدود (بناءً على درجة الثقة)
- مراقبة الوكيل في الإنتاج.
- معالجة نقاط الفشل المحددة، وإعادة الاختبار لضمان الثقة، وإعادة نشر الوكيل في الإنتاج.
هذه الحلقة لا تنتهي أبدًا. يمكن أن يتغير سلوك الوكلاء بمرور الوقت. الاختبار والمراقبة المستمران ضروريان لتحديد المجالات التي تدهورت فيها موثوقيتهم والاستجابة بإصلاحات مناسبة.
كيف يمكن أن يصبح وكلاء الذكاء الاصطناعي جامحين؟
وكلاء أصبحوا جامحين
بمجرد تدريب وكيلك وقيامه بالأشياء الصحيحة، قد يبدو مستأنسًا. لكن المظاهر قد تكون خادعة. هناك عدة طرق يمكن أن يصبح بها الوكيل جامحًا بعد الإطلاق:
- الانجراف: تعني التغيرات في البيئة أن القواعد القديمة لم تعد تنطبق. قد يتصرف الوكلاء بشكل غير متوقع في بيئة جديدة.
- الجهات الخبيثة: يمكن أن تتسبب عمليات كسر الحماية وحقن الأوامر في انتهاك الوكلاء للسياسات أو إساءة استخدام الأدوات المصرح لهم بالوصول إليها.
- وكلاء غير خاضعين للحوكمة: وكلاء شرعيون، لكنهم يعملون دون رؤية كافية أو مساءلة أو دورة حياة تقييم رسمية.
- تفاعلات متعددة الوكلاء: يمكن أن تتجمع الإجراءات المسموح بها فرديًا لتؤدي إلى نتائج تنتهك سياسة المؤسسة، حتى بدون كسر متعمد للقواعد.
حتى الأنظمة التي تم اختبارها جيدًا يمكن أن تفشل في الإنتاج. مع الأنظمة الوكيلة، يمكن أن تؤدي التغييرات في النماذج أو الأوامر أو الأدوات أو سير العمل إلى تغيير السلوك بعد الاختبار قبل النشر. بدون مراقبة واختبار مستمرين، يمكن أن يتسلل السلوك الجامح.
بمجرد تدريب وكيلك وقيامه بالأشياء الصحيحة، قد يبدو مستأنسًا. لكن المظاهر قد تكون خادعة.
الحل هو إنشاء خط أساس وتطبيق الحوكمة لكل وكيل وقدراته. امنح الوكيل هوية، واختبره، وقم بتقييم موثوقيته باستمرار. الهدف هو وكيل يعمل لمصلحة الجهة الرئيسية، ويكون مسؤولاً أمامها، ولا يكون عرضة لأن يصبح جامحًا.
تحقيقًا لهذه الغاية، تعتبر الحواجز الوقائية حاسمة، لكن لا ينبغي أن تكون الطريقة الأساسية لإبقاء الوكلاء ملتزمين. هذا ليس مثل لعبة ماريو كارت، حيث يكون الارتداد عن الجدران جزءًا من اللعبة.
من الناحية المثالية، يجب أن يظل الوكلاء على مساراتهم، مثل القطارات. في هذه الحالة، المسارات هي سياسات تصف غرض الوكيل والمتطلبات التنظيمية التي يجب أن يفي بها. يبني نهج Vijil على تشبيه المسارات، ويمدده عبر دورة حياة الوكيل عن طريق ترجمة السياسات إلى معايير تقييم وضوابط وقت التشغيل.
المؤتمن: الوجهة
الثقة سهلة التعريف. لكن من الصعب برمجتها في وكيل.
بموجب القانون الأمريكي، يجب على المستشار الاستثماري الذي يعمل بصفة مؤتمن أن يخدم مصالح العميل الفضلى وألا يضع مصالحه الخاصة قبل مصالح العميل.
نستخدم مصطلح مؤتمن كتشبيه للسلوك الذي نريده من وكيل موثوق به. بالنسبة لوكلاء الذكاء الاصطناعي، يصف مؤتمن معيارًا سلوكيًا مقصودًا، وليس وضعًا قانونيًا كمؤتمن أو ضمانًا للولاء. الهدف هو خدمة مصالح المؤسسة بدلاً من مصالح بائع النموذج. لكن الوكلاء يختلفون عن البشر. فهم يتصرفون بدون نية، و(على الرغم من سهولة إضفاء الطابع البشري عليهم) يفتقرون إلى الشخصية. لذلك بالنسبة للوكلاء، كونهم مؤتمنين هو حالة سلوكية. إنه معيار موضوعي يمكن الحكم عليه بما يفعله الوكيل.
الهدف هو نقل وكلائك من حالة جامحة إلى مؤتمنة. افعل ذلك بأسرع وقت ممكن وبأكبر قدر من الكفاءة. لقد خفض عملاء Vijil الوقت اللازم للثقة بمقدار 4 أضعاف.
بناء الثقة في دورة حياة الوكيل
مع Vijil، يمر الوكلاء بنفس حلقة التقييم المستمرة مثل التعليمات البرمجية في مسار DevOps: البناء، النشر، التشغيل، التحسين. تتحقق المراحل المختلفة لهذه الحلقة من موثوقية الوكيل وأمانه وسلامته. تقيس الأداء وتصلح نقاط الفشل. وتكتشف متى تتحسن الموثوقية أو تتدهور. يمكن للفرق التي تحتاج إلى بقاء البيانات داخل الشركة النشر في أماكن العمل، أو في سحابتها الخاصة، أو في بيئة معزولة هوائيًا. ترسل الطبقة المجانية المستضافة حركة مرور التقييم وتتبعات القرارات إلى Vijil.
كل وكيل تنشره يخدم مصالح شخص ما. السؤال الوحيد هو ما إذا كانت هذه المصلحة هي مصلحتك. يبدأ المسار من جامح إلى مؤتمن بالأدلة، وليس بالإيمان.
