Wichtige Erkenntnisse:
- Eine Plattform für KI-Sicherheit steht im Mittelpunkt der Nvidia-Nachrichten und vereint über 100 Partner.
- OpenShell schränkt den Zugriff von KI-Agenten auf Dateien, Netzwerke, Tools und Anmeldedaten ein.
- Sentry erweitert die Überwachung und Durchsetzung von Richtlinien durch Nvidia BlueField-Hardware.
Die NVIDIA-Nachrichten vom 28. September konzentrierten sich auf KI-Sicherheit, nachdem das Unternehmen die „Open Agent Safety Platform“ vorgestellt hatte. Das System kombiniert OpenShell-Laufzeitkontrollen mit einer Überwachung auf Infrastrukturebene, die speziell für autonome KI-Agenten entwickelt wurde.
NVIDIA positionierte die Plattform vor dem Hintergrund eines wachsenden Sicherheitsproblems. KI-Agenten können auf Dateien, Anwendungen, Anmeldedaten und externe Dienste zugreifen, was die Folgen unerwarteten Verhaltens verstärkt.
NVIDIA-Nachrichten: „Open Agent Safety Platform“ zielt auf Risiken durch KI-Agenten ab
NVIDIA führte die gemeldeten Sicherheitsvorfälle eher auf eine Kombination aus Tools, Zeit und mehrdeutigen Anweisungen zurück als auf eine einzelne neue Funktion.
Die eigenen Untersuchungen des Unternehmens identifizierten zudem Situationen, in denen Agenten von ihren zugewiesenen Aufgaben oder Betriebsbeschränkungen abwichen. Das Unternehmen beschreibt dieses Verhalten als „Drift“.
Drift kann auftreten, wenn ein Agent auf einen Softwarefehler, ein fehlendes Tool oder eine Richtlinienbeschränkung stößt. Sie kann auch bei langwierigen Versuchen zur Lösung schwieriger Probleme entstehen.
NVIDIA erklärte, dass Agenten, die mit diesen Bedingungen konfrontiert sind, nicht zuverlässig die volle Verantwortung für die Steuerung ihres Verhaltens übernehmen können.
Diese Erkenntnis untermauert die Trennung der Agentenaktivitäten von der Sicherheitsdurchsetzung auf der Plattform. Die Kontrollmechanismen werden außerhalb des Einflussbereichs der Agenten ausgeführt, während Überwachungssysteme beurteilen, ob Handlungen innerhalb der genehmigten Grenzen bleiben.
NVIDIA identifiziert zudem die Verbindung zum Modell als einen Punkt, an dem Aktivitäten beobachtet und die Ausführung unterbrochen werden können.
OpenShell definiert den Zugriff, während Sentry die Agentenaktivität überwacht
OpenShell setzt diese Grenzen um, indem autonome KI-Agenten in Sandbox-Umgebungen mit Isolation auf Kernel-Ebene ausgeführt werden.
Die Open-Source-Laufzeitumgebung unterliegt der Apache-2.0-Lizenz. Die Betreiber legen fest, auf welche Dateien, Netzwerke, Tools, Prozesse und Anmeldedaten ein Agent zugreifen darf, bevor dieser seine Arbeit aufnimmt.
Diese Berechtigungen bilden eine Richtlinie, die OpenShell vor der Ausführung überprüft und während der Ausführung durchsetzt.
Dadurch werden die Anweisungen des Betreibers mit der Kontrolle über die der Anwendung zur Verfügung stehenden Ressourcen verknüpft. Die Laufzeitumgebung bietet zudem eine kontinuierliche Überwachung und Durchsetzung von Richtlinien über die gesamte zugrunde liegende Infrastruktur hinweg.
Für Unternehmen, die eine weitere Überwachungsebene anstreben, erweitert Sentry die Überwachung und Durchsetzung auf Nvidia BlueField-Hardware.
NVIDIA DOCA macht diese Sicherheitsgrundlage programmierbar und verknüpft sie mit OpenShell-Richtlinien. Zusammen erstellen diese Komponenten Protokolle, die Interaktionen von Agenten, Richtlinienentscheidungen sowie den Zugriff auf Tools und Daten erfassen.
Diese von NVIDIA erfassten Protokolle liefern Sicherheitssystemen den notwendigen Kontext, um Abweichungen zu erkennen und verdächtige Aktivitäten zu untersuchen. Sie helfen zudem dabei, festzustellen, ob ein Eingreifen oder eine eingehendere Analyse erforderlich ist.
Neben dieser Verhaltensüberwachung überprüft das DOCA-Gateway kontinuierlich die Identität und die übertragenen Befugnisse jedes Agenten.
NVIDIA erweitert KI-Sicherheit über Modell-Sicherheitsgrenzen hinaus
Die Open Agent Safety Platform spiegelt Nvidias umfassenderen Vorstoß in den Bereich der KI-Agenten-Software wider. Anfang dieses Jahres stellte das Unternehmen OpenShell als Teil seines Agent Toolkits für Unternehmens- und autonome Anwendungen vor.
Die Einführung am 28. September geht noch einen Schritt weiter in Richtung Einsatzsicherheit. Anstatt sich ausschließlich auf Einschränkungen auf Modellebene zu verlassen, fügt NVIDIA durchsetzbare Grenzen um die Systeme hinzu, auf die Agenten zugreifen können.
Diese Unterscheidung gewinnt zunehmend an Bedeutung, da Agenten Zugriff auf Produktionsanwendungen und Anmeldedaten erhalten. Ein Modell kann sich korrekt verhalten, während Infrastrukturkontrollen den Schaden durch Softwarefehler oder unerwartete Aktionen weiterhin begrenzen.
OpenShell löst dieses Problem zur Laufzeit. BlueField-basierte Kontrollen fügen einen weiteren Durchsetzungspunkt unterhalb der Anwendungsschicht hinzu.
Für Nvidia wird der nächste Test nicht die Anzahl der Partner, sondern die tatsächliche Einführung sein. Die Akzeptanz hängt davon ab, wie viele Unternehmen OpenShell und Sentry in Produktionsumgebungen für KI-Agenten einsetzen.
Dieser Artikel dient ausschließlich zu Informationszwecken. Die Aussagen zur Sicherheit spiegeln die Architektur von Nvidia sowie die zitierten Forschungsergebnisse wider, die möglicherweise nicht alle Produktionsumgebungen für KI-Agenten abdecken.
