Основные выводы:
- Платформа по обеспечению безопасности искусственного интеллекта стала главной темой новостей компании Nvidia, объединив более 100 партнёров.
- OpenShell ограничивает доступ агентов искусственного интеллекта к файлам, сетям, инструментам и учетным данным.
- Sentry обеспечивает мониторинг и обеспечение соблюдения политик с помощью аппаратного обеспечения Nvidia BlueField.
28 сентября новости компании NVIDIA были посвящены вопросам безопасности ИИ после запуска компанией платформы Open Agent Safety Platform. Система сочетает в себе средства управления на уровне среды выполнения OpenShell с мониторингом на уровне инфраструктуры, разработанным специально для автономных агентов ИИ.
Компания NVIDIA позиционирует эту платформу как решение растущей проблемы безопасности. Агенты ИИ могут получать доступ к файлам, приложениям, учетным данным и внешним сервисам, что усугубляет последствия непредвиденного поведения.
Новости NVIDIA: платформа Open Agent Safety Platform направлена на снижение рисков, связанных с агентами
Компания NVIDIA объяснила зафиксированные случаи выхода агентов за пределы заданий сочетанием инструментов, времени и неоднозначных инструкций, а не появлением какой-либо одной новой возможности.
В ходе собственного исследования также были выявлены ситуации, когда агенты отклонялись от поставленных задач или операционных ограничений. Компания описывает такое поведение как «дрифт».
Дрейф может возникать, когда агент сталкивается с программной ошибкой, отсутствием необходимого инструмента или ограничением, наложенным политикой. Он также может возникать в ходе длительных попыток решения сложных задач.
Компания NVIDIA заявила, что агенты, сталкивающиеся с такими условиями, не могут надежно взять на себя полную ответственность за управление своим поведением.
Этот вывод лежит в основе принципа разделения на платформе деятельности агента и обеспечения безопасности. Механизмы контроля функционируют вне зоны досягаемости агента, в то время как системы мониторинга оценивают, остаются ли действия в пределах разрешённых рамок.
Компания NVIDIA также указывает на то, что подключение к модели служит точкой для наблюдения за активностью и прерывания выполнения.
OpenShell определяет права доступа, а Sentry контролирует деятельность агентов
OpenShell реализует эти ограничения путем запуска автономных ИИ-агентов в изолированных средах с изоляцией на уровне ядра.
Эта среда выполнения с открытым исходным кодом использует лицензию Apache 2.0. Операторы определяют, к каким файлам, сетям, инструментам, процессам и учетным данным агент может получить доступ, прежде чем он начнёт работу.
Эти разрешения формируют политику, которую OpenShell проверяет перед выполнением и обеспечивает соблюдение в ходе выполнения.
Таким образом, инструкции оператора увязываются с механизмами контроля над ресурсами, доступными приложению. Среда выполнения также обеспечивает непрерывный мониторинг и принудительное соблюдение политик во всей базовой инфраструктуре.
Для организаций, нуждающихся в дополнительном уровне контроля, Sentry расширяет возможности мониторинга и обеспечения соблюдения политик на аппаратное обеспечение Nvidia BlueField.
NVIDIA DOCA обеспечивает программируемость этой базы безопасности и связывает её с политиками OpenShell. В совокупности эти компоненты формируют записи, охватывающие взаимодействия агентов, решения по политикам, а также доступ к инструментам и данным.
Эти записи , генерируемые NVIDIA, предоставляют системам безопасности контекст, необходимый для выявления отклонений и расследования подозрительной активности. Они также помогают определить, требуется ли вмешательство или более глубокий анализ.
Наряду с таким мониторингом поведения шлюз DOCA постоянно проверяет идентичность каждого агента и делегированные полномочия.
Новости NVIDIA: расширение границ безопасности ИИ за пределы «ограждений» моделей
Платформа Open Agent Safety отражает более широкий переход компании Nvidia к разработке программного обеспечения для ИИ-агентов. Ранее в этом году компания представила OpenShell в рамках своего набора инструментов Agent Toolkit для корпоративных и автономных приложений.
Запуск 28 сентября знаменует собой дальнейший шаг в направлении обеспечения безопасности развертывания. Вместо того чтобы полагаться исключительно на ограничения на уровне моделей, NVIDIA вводит обязательные к исполнению границы вокруг систем, к которым агенты могут получить доступ.
Это различие приобретает всё большее значение по мере того, как агенты получают доступ к производственным приложениям и учетным данным. Модель может вести себя корректно, в то время как средства контроля инфраструктуры по-прежнему ограничивают ущерб от программных ошибок или непредвиденных действий.
OpenShell решает эту проблему на этапе выполнения. Механизмы контроля на базе BlueField добавляют ещё одну точку обеспечения соблюдения требований ниже уровня приложений.
Что касается новостей Nvidia, следующим испытанием станет не количество партнёров, а масштабы внедрения. Успех внедрения будет зависеть от того, сколько предприятий будут использовать OpenShell и Sentry в производственных средах с агентами.
Настоящая статья носит исключительно информационный характер. Заявления о безопасности отражают архитектуру компании Nvidia и результаты цитируемых исследований, которые могут не охватывать все производственные среды ИИ-агентов.
