WEBioDD Logo
WEBioDD
📁 ذكاء اصطناعي وتعلّم الآلة••⏱️ 4 دقيقة قراءة

إطار عمل أوبر للذكاء الاصطناعي الآمن يحكم وكلاءه المستقلين

W

شبكة WEBioDD

تغطية وتحرير تقني مؤتمت بالذكاء الاصطناعي من المصادر المرجعية

إطار عمل أوبر للذكاء الاصطناعي الآمن يحكم وكلاءه المستقلين
صورة تعبيرية
إعلان ممول
إعلانات

كشفت هندسة أوبر عن قصور ضوابط الهوية وواجهة برمجة التطبيقات التقليدية في تأمين وكلاء الذكاء الاصطناعي. لمواجهة هذا التحدي، طورت أوبر إطار عمل يحدد مدى ملاءمة تصرف الوكيل بناءً على طلب المستخدم، والغرض المقصود للوكيل، وصلاحياته، وسياق التفاعل.

أبرز النقاط

  • تُبرز هندسة أوبر قصور ضوابط الهوية وواجهة برمجة التطبيقات التقليدية في تأمين وكلاء الذكاء الاصطناعي.
  • طورت أوبر إطار عمل لتحديد مدى ملاءمة تصرف الوكيل بناءً على طلب المستخدم وغرضه وصلاحياته وسياق التفاعل.
  • يعالج الإطار مخاطر متعددة مثل حقن الأوامر وتسميم الأدوات والذاكرة واختطاف الأهداف.
  • يعمل الإطار عبر ثلاث طبقات تشمل ما قبل النشر، والتنفيذ أثناء التشغيل، والضمان المستمر بعد النشر.

تُبرز هندسة أوبر في مقال حديث قصور ضوابط الهوية وواجهة برمجة التطبيقات التقليدية في تأمين وكلاء الذكاء الاصطناعي الذين يستدلون ديناميكيًا على المحتوى الخارجي ويتخذون إجراءات في العالم الحقيقي. لمعالجة هذا التحدي، طورت أوبر إطار عمل لتحديد ما إذا كان تصرف الوكيل مناسبًا بالنظر إلى طلب المستخدم، والغرض المقصود للوكيل، وصلاحياته، وسياق التفاعل.

تستطيع أنظمة الهوية والترخيص تحديد ما إذا كان المستخدم أو الخدمة لديها إذن للوصول إلى مورد ما، لكنها لا تستطيع تحديد ما إذا كان الإجراء المقترح للوكيل مناسبًا في السياق. هذا يخلق مخاطر متعددة، بما في ذلك حقن الأوامر (prompt injection)، وتسميم الأدوات والذاكرة (tool and memory poisoning)، واختطاف الأهداف (goal hijacking)، والانحراف السلوكي (behavioral drift)، والإجراءات المدفوعة بالهلوسة (hallucination-driven actions)، والتي يعالجها إطار عمل أوبر من خلال ثلاث طبقات تمتد عبر دورة حياة الوكيل بأكملها، من ما قبل النشر إلى التنفيذ أثناء التشغيل إلى الضمان المستمر بعد النشر.

كيف يعمل إطار عمل أوبر للذكاء الاصطناعي الآمن؟

في وقت التزويد، يجب تسجيل الوكلاء في سجل أوبر للذكاء الاصطناعي (Uber AI Registry)، مما يؤسس للهوية والملكية والشخصية والنوايا المسموح بها والقيود والتبعيات وتصنيف المخاطر. ويُطبق النهج نفسه على خوادم MCP والأدوات التي يستخدمها الوكلاء.

أثناء التشغيل، يوسع الإطار نموذج الأمان التقليدي القائم على إدارة السياسات، وقرار السياسات، وتطبيق السياسات ليشمل الترخيص السلوكي (behavioral authorization)، الذي يقيم ما إذا كانت تصرفات الوكيل مناسبة في سياق معين. يُنفذ الترخيص السلوكي من خلال ثلاثة مكونات: سجل الذكاء الاصطناعي (AI Registry)، وحراس الذكاء الاصطناعي (AI guards)، وخطافات وقت تشغيل حارس الوكيل (Agent Guard runtime hooks). يحدد سجل الذكاء الاصطناعي ويدير سياسات الوكيل وشخصياته ونواياه وقيوده، بينما يقيم حراس الذكاء الاصطناعي التفاعلات والإجراءات المقترحة مقابل السياسات المعمول بها.

بعد النشر، يتحول التركيز إلى الضمان المستمر (Continuous Assurance)، الذي يعتمد على المراقبة الشاملة (end-to-end observability)، والتدقيق (auditing)، والقابلية للتفسير (explainability)، وإعادة التشغيل (replay). تتألف هذه الطبقة من مكونين رئيسيين: تتبع تنفيذ موحد يربط تصرفات الوكيل، واستدعاءات الأدوات، وقرارات الأمان؛ وتفاعلات مسجلة يمكن إعادة تشغيلها كلما تم تحديث السياسات والحواجز الوقائية لتقييم فعاليتها في السياق الجديد.

ما هي التحديات التي واجهتها أوبر؟

تعليقًا على نهج أوبر على لينكد إن، أثار تريستان جي. (Tristan G.)، مسؤول تكنولوجيا المعلومات الأول في الأمم المتحدة، عدة مخاوف، مشيرًا إلى أنه بينما "تضيف الشخصيات والنوايا والقيود والمعايرة لكل وكيل" القيمة الأكبر، فإنها تأتي أيضًا بتكلفة كبيرة، حيث "يتناسب الجهد مع عدد سير العمل". بالإضافة إلى ذلك، يرى أن "أقوى تحكم كان تقييد الوكلاء بقيود صريحة، وهو مبدأ الحد الأدنى من الامتيازات وليس فكرة جديدة". وبالنسبة له، فإن "السؤال المفتوح هو كيف يعمل هذا للوكلاء الذين لا تبنيهم، مثل وكلاء البائعين أو SaaS حيث لا يمكنك إدخال خطافات التنفيذ الخاصة بك".

على غرار ذلك، يلاحظ مهندس الذكاء الاصطناعي براتيك داناف (Pratik Dhanave) أيضًا أن "الدرس الذي يسمونه الأقل بريقًا هو الذي يصنفونه الأكثر فعالية: النوايا والقيود الصريحة لكل وكيل. وليس العتبات العامة، التي فشلت لأن كل وكيل له غرض مختلف وملف مخاطر مختلف. التكلفة هي المرونة، ويقولون إنها تستحق الدفع".

لا يزال إطار عمل أوبر للذكاء الاصطناعي الآمن في طور التطور، مع خطط لتوسيع قدراته عبر جميع المجالات المذكورة أعلاه. هناك الكثير في الإطار أكثر مما يمكن تغطيته هنا، لذا يُشجع القراء على الرجوع إلى المقال الأصلي للحصول على نظرة عامة أكثر شمولاً.

🤖

إفصاح الشفافية ومصدر الخبر

كُتب هذا المقال بالذكاء الاصطناعي اعتماداً على المصدر المذكور أدناه، وفُحصت اقتباساته والأقوال المنسوبة فيه آلياً مقابل نص المصدر. لم يراجعه محرر بشري، فارجع إلى المصدر عند الشك.

زيارة المصدر الأصلي المرجعي
إعلان ممول
إعلانات

📰 مقالات وتقارير ذات صلة