Vigtige indsigter:
- En AI-sikkerhedsplatform er hovednyheden hos Nvidia og samler over 100 partnere.
- OpenShell begrænser AI-agenters adgang til filer, netværk, værktøjer og adgangskoder.
- Sentry tilføjer overvågning og håndhævelse af politikker via Nvidia BlueField-hardware.
NVIDIA-nyhederne fokuserede på AI-sikkerhed den 28. september efter virksomhedens lancering af Open Agent Safety Platform. Systemet kombinerer OpenShell-kørselstidskontrol med overvågning på infrastrukturniveau, der er designet til autonome AI-agenter.
NVIDIA positionerede platformen i lyset af et voksende sikkerhedsproblem. AI-agenter kan få adgang til filer, applikationer, legitimationsoplysninger og eksterne tjenester, hvilket øger konsekvenserne af uventet adfærd.
NVIDIA-nyheder: Open Agent Safety Platform tager sigte på agentrisici
NVIDIA tilskrev de rapporterede brud på sikkerheden en kombination af værktøjer, tid og tvetydige instruktioner snarere end en enkelt ny funktion.
Virksomhedens egen forskning identificerede også situationer, hvor agenter afveg fra deres tildelte opgaver eller driftsbegrænsninger. Virksomheden beskriver denne adfærd som »drift«.
Afvigelse kan opstå, når en agent støder på en softwarefejl, et manglende værktøj eller en politisk begrænsning. Det kan også opstå under langvarige forsøg på at løse vanskelige problemer.
NVIDIA udtalte, at agenter, der står over for disse forhold, ikke pålideligt kan påtage sig det fulde ansvar for at styre deres adfærd.
Denne konklusion ligger til grund for platformens adskillelse af agentaktivitet fra sikkerhedshåndhævelse. Dens kontrolmekanismer fungerer uden for agentens rækkevidde, mens overvågningssystemer vurderer, om handlinger forbliver inden for godkendte grænser.
NVIDIA identificerer også forbindelsen til modellen som et punkt, hvorfra man kan observere aktiviteten og afbryde udførelsen.
OpenShell definerer adgang, mens Sentry overvåger agentaktivitet
OpenShell implementerer disse grænser ved at køre autonome AI-agenter i sandkasse-miljøer med isolation på kernelniveau.
Open-source-runtime bruger Apache 2.0-licensen. Operatører definerer, hvilke filer, netværk, værktøjer, processer og legitimationsoplysninger en agent må få adgang til, før den begynder at arbejde.
Disse tilladelser udgør en politik, som OpenShell kontrollerer før udførelse og håndhæver under udførelsen.
Dette forbinder operatørens instruktioner med kontrollen over de ressourcer, der er tilgængelige for applikationen. Runtime-miljøet sørger også for kontinuerlig overvågning og håndhævelse af politikker på tværs af den underliggende infrastruktur.
For organisationer, der søger et yderligere tilsynslag, udvider Sentry overvågningen og håndhævelsen til Nvidia BlueField-hardware.
NVIDIA DOCA gør dette sikkerhedsgrundlag programmerbart og forbinder det med OpenShell-politikker. Tilsammen samler disse komponenter registreringer, der dækker agenters interaktioner, politiske beslutninger samt adgang til værktøjer og data.
Disse registreringer fra NVIDIA giver sikkerhedssystemerne den nødvendige kontekst til at identificere afvigelser og undersøge mistænkelig aktivitet. De hjælper også med at afgøre, om der er behov for indgriben eller en mere dybdegående analyse.
Sideløbende med denne adfærdsovervågning kontrollerer DOCA-gatewayen løbende hver enkelt agents identitet og delegerede beføjelser.
NVIDIA udvider AI-sikkerheden ud over modelens sikkerhedsgrænser
Open Agent Safety Platform afspejler Nvidias bredere satsning på AI-agent-software. Tidligere på året introducerede virksomheden OpenShell som en del af sit Agent Toolkit til virksomheds- og autonome applikationer.
Lanceringen den 28. september går endnu længere ind i implementeringssikkerhed. I stedet for udelukkende at stole på begrænsninger på modelniveau tilføjer Nvidia håndhævelige grænser omkring de systemer, som agenterne kan nå.
Denne skelnen bliver endnu vigtigere, efterhånden som agenterne får adgang til produktionsapplikationer og adgangskoder. En model kan opføre sig korrekt, mens infrastrukturkontroller stadig begrænser skaden fra softwarefejl eller uventede handlinger.
OpenShell løser dette problem under kørsel. BlueField-baserede kontroller tilføjer endnu et håndhævelsespunkt under applikationslaget.
For Nvidia vil den næste test være implementeringen snarere end antallet af partnere. Udbredelsen vil afhænge af, hvor mange virksomheder der bruger OpenShell og Sentry i produktionsmiljøer med agenter.
Denne artikel er udelukkende til orientering. Sikkerhedspåstande afspejler Nvidias arkitektur og de citerede forskningsresultater, som muligvis ikke repræsenterer alle produktionsmiljøer med AI-agenter.