أهم النقاط:
- منصة أمان الذكاء الاصطناعي تتصدر أخبار Nvidia، وتجمع أكثر من 100 شريك.
- تقيد OpenShell وصول وكلاء الذكاء الاصطناعي إلى الملفات والشبكات والأدوات وبيانات الاعتماد.
- تضيف Sentry إمكانية المراقبة وتطبيق السياسات من خلال أجهزة Nvidia BlueField.
ركزت أخبار NVIDIA على أمن الذكاء الاصطناعي في 28 سبتمبر، عقب إطلاق الشركة لمنصة Open Agent Safety Platform. يجمع النظام بين عناصر التحكم في وقت التشغيل الخاصة بـ OpenShell والمراقبة على مستوى البنية التحتية المصممة لوكلاء الذكاء الاصطناعي المستقلين.
وقد ركزت «إنفيديا» في تصميم المنصة على مشكلة أمنية متنامية. حيث يمكن لوكلاء الذكاء الاصطناعي الوصول إلى الملفات والتطبيقات وبيانات الاعتماد والخدمات الخارجية، مما يزيد من عواقب السلوك غير المتوقع.
أخبار NVIDIA: منصة Open Agent Safety Platform تستهدف مخاطر الوكلاء
عزت NVIDIA حالات الخروج عن السيطرة المبلغ عنها إلى مزيج من الأدوات والوقت والتعليمات الغامضة، وليس إلى قدرة جديدة واحدة.
كما حددت أبحاثها الخاصة حالات انحرف فيها الوكلاء عن المهام الموكلة إليهم أو قيود التشغيل. وتصف الشركة هذا السلوك بـ«الانحراف».
يمكن أن يحدث الانحراف عندما يواجه الوكيل خطأً في البرنامج، أو أداة مفقودة، أو قيودًا سياسية. كما يمكن أن يظهر أثناء المحاولات المطولة لحل المشكلات الصعبة.
قالت NVIDIA إن الوكلاء الذين يواجهون هذه الظروف لا يمكنهم تحمل المسؤولية الكاملة عن التحكم في سلوكهم بشكل موثوق.
وتدعم هذه النتيجة نهج المنصة في فصل نشاط الوكيل عن تطبيق الإجراءات الأمنية. حيث تعمل آليات التحكم خارج نطاق سيطرة الوكيل، بينما تقوم أنظمة المراقبة بتقييم ما إذا كانت الإجراءات لا تزال ضمن الحدود المسموح بها.
كما تحدد NVIDIA الاتصال بالنموذج كنقطة لمراقبة النشاط ومقاطعة التنفيذ.
يحدد OpenShell الوصول بينما يراقب Sentry نشاط الوكيل
تنفذ OpenShell هذه الحدود من خلال تشغيل وكلاء الذكاء الاصطناعي المستقلين في بيئات معزولة مع عزل على مستوى النواة.
يستخدم وقت التشغيل مفتوح المصدر ترخيص Apache 2.0. يحدد المشغلون الملفات والشبكات والأدوات والعمليات وبيانات الاعتماد التي يمكن للوكيل الوصول إليها قبل أن يبدأ العمل.
وتصبح هذه الأذونات سياسة يتحقق منها OpenShell قبل التنفيذ ويفرضها أثناء التنفيذ.
وهذا يربط تعليمات المشغل بالضوابط المفروضة على الموارد المتاحة للتطبيق. كما يوفر بيئة التشغيل مراقبة مستمرة وتطبيقًا للسياسات عبر البنية التحتية الأساسية.
بالنسبة للمؤسسات التي تسعى إلى طبقة إضافية من الإشراف، يوسع Sentry نطاق المراقبة والإنفاذ ليشمل أجهزة Nvidia BlueField.
تجعل منصة NVIDIA DOCA هذا الأساس الأمني قابلاً للبرمجة وتربطه بسياسات OpenShell. وتعمل هذه المكونات معًا على تجميع السجلات التي تغطي تفاعلات الوكلاء، وقرارات السياسات، والوصول إلى الأدوات والبيانات.
وتزود سجلات أخبار Nvidia هذه أنظمة الأمان بسياق يتيح لها تحديد الانحرافات والتحقيق في الأنشطة المشبوهة. كما تساعد في تحديد ما إذا كان التدخل أو إجراء تحليل أعمق ضروريًا.
إلى جانب مراقبة السلوك هذه، تقوم بوابة DOCA بالتحقق المستمر من هوية كل وكيل والصلاحيات المفوضة له.
أخبار NVIDIA توسع نطاق أمان الذكاء الاصطناعي إلى ما وراء حدود النماذج
تعكس منصة Open Agent Safety Platform تحرك Nvidia الأوسع نطاقًا نحو برمجيات الوكلاء القائمة على الذكاء الاصطناعي. في وقت سابق من هذا العام، قدمت الشركة OpenShell كجزء من مجموعة أدوات الوكلاء (Agent Toolkit) الخاصة بها للتطبيقات المؤسسية والتطبيقات ذاتية التشغيل.
ويشكل الإطلاق الذي تم في 28 سبتمبر خطوة إضافية نحو أمن النشر. فبدلاً من الاعتماد فقط على القيود على مستوى النموذج، تضيف Nvidia حدودًا قابلة للتنفيذ حول الأنظمة التي يمكن للوكلاء الوصول إليها.
يصبح هذا التمييز أكثر أهمية مع حصول الوكلاء على حق الوصول إلى تطبيقات الإنتاج وبيانات الاعتماد. يمكن للنموذج أن يعمل بشكل صحيح بينما لا تزال ضوابط البنية التحتية تحد من الأضرار الناجمة عن أخطاء البرامج أو الإجراءات غير المتوقعة.
يعالج OpenShell هذه المشكلة أثناء وقت التشغيل. تضيف ضوابط BlueField نقطة إنفاذ أخرى أسفل طبقة التطبيق.
بالنسبة لأخبار Nvidia، سيكون الاختبار التالي هو النشر بدلاً من عدد الشركاء. وسيعتمد اعتماد هذه التقنية على عدد المؤسسات التي تستخدم OpenShell و Sentry في بيئات وكلاء الإنتاج.
هذه المقالة مخصصة للأغراض الإعلامية فقط. تعكس الادعاءات الأمنية بنية Nvidia ونتائج الأبحاث المذكورة، والتي قد لا تمثل جميع بيئات وكلاء الذكاء الاصطناعي في بيئات الإنتاج.
