Wichtige Erkenntnisse:
- Anthropic warnte davor, dass eine schlecht verwaltete KI mit zunehmender Leistungsfähigkeit eine Bedrohung für die Menschheit darstellen könnte.
- OpenAI rief zu äußerster Vorsicht auf, da Entwickler die Grenzen fortschrittlicher künstlicher Intelligenz immer weiter verschieben.
- Beide Führungskräfte drängten auf Schutzmaßnahmen gegen Missbrauch und Kontrollverlust.
Führungskräfte von Anthropic und OpenAI warnten den Sicherheitsrat der Vereinten Nationen am 23. September 2026 vor den Risiken fortschrittlicher künstlicher Intelligenz. Dario Amodei und Sam Altman wandten sich an die Regierungen, da die Besorgnis hinsichtlich Missbrauch, Autonomie und konzentrierter Kontrolle zunahm.
Bei dem Treffen wurde das Thema der Sicherheit im Bereich der künstlichen Intelligenz direkt vor den Sicherheitsrat gebracht. In der Diskussion wurde zudem ein Zusammenhang zwischen der Entwicklung privater Modelle und der internationalen Sicherheitspolitik sowie der staatlichen Aufsicht hergestellt.
Anthropic warnt: KI-Risiken könnten über einzelne Unternehmen hinausreichen
Der Vorstandsvorsitzende Dario Amodei erklärte dem Rat, dass eine schlecht verwaltete KI die Menschheit als Ganzes bedrohen könnte. Er bezeichnete Missbrauch und Kontrollverlust als die beiden Hauptgefahren, denen immer leistungsfähigere Systeme ausgesetzt sind.
Amodei erklärte, dass der Missbrauch den Einsatz biologischer Waffen und anderer risikoreicher Anwendungen umfassen könnte. Er warnte zudem davor, dass Entwickler die effektive Kontrolle verlieren könnten, da sich die Fähigkeiten der Modelle schneller weiterentwickeln als die Kontrollsysteme.
Diese Warnung stand im Einklang mit der früheren Stellungnahme des Unternehmens zur öffentlichen Sicherheit. Im Februar 2025 beschrieb Amodei Risiken im Zusammenhang mit dem Missbrauch chemischer , biologischer, radiologischer und nuklearer Mittel.
Sein Bedrohungsbericht vom September 2026 dokumentierte Versuche böswilliger Akteure, Claude für schädliche Aktivitäten zu nutzen. Das Unternehmen meldete Fälle, die Cyberoperationen, Überwachung, Waffen, biologischen Missbrauch, Betrugsversuche und illegale Modelldestillation umfassten.
Amodei erklärte gegenüber dem Sicherheitsrat, dass Anthropic die Entwicklung verlangsamen werde , wenn die Sicherheitslage dies erfordere. Er argumentierte zudem, dass kein einzelnes Unternehmen die weitreichenden Risiken allein bewältigen könne.
OpenAI mahnt zu äußerster Vorsicht angesichts fortschreitender Modellfähigkeiten
Auch Sam Altman, Geschäftsführer von OpenAI, mahnte während der Sitzung am 23. September zur Vorsicht. Er erklärte, die derzeitige Entwicklungsphase der künstlichen Intelligenz erfordere „äußerste Vorsicht“.
Altman warnte, dass die Menschheit die Kontrolle über zukünftige Entwicklungen verlieren könnte, sollten die Systeme einen Punkt überschreiten, an dem ein wirksames Eingreifen nicht mehr möglich sei. Er warnte zudem davor, übermäßige Macht in den Händen eines einzelnen Unternehmens, einer Regierung oder einer technischen Gruppe zu konzentrieren.
OpenAI hatte die Sicherheitsvorkehrungen rund um seine neuesten Pionier-Systeme bereits verschärft. Am 1. September teilte das Unternehmen mit, dass GPT-6 Astra die Schwelle für kritische Cybersicherheitsfähigkeiten erreicht habe.
OpenAI erklärte, dass Astra unter geeigneten Zugriffsbedingungen bisher unbekannte Softwarefehler identifizieren könne. Das Modell sei zudem in der Lage, Ausnutzungsmethoden ohne kontinuierliche menschliche Anleitung zu entwickeln, so das Unternehmen.
Das Unternehmen reagierte mit verstärkten Isolierungsmaßnahmen, Verschlüsselung an Kontrollpunkten, Überwachung und Bewertungen der internen Abstimmung. OpenAI beschrieb diese Kontrollmaßnahmen in seinem Sicherheitsüberblick vom 3. September für GPT-6 Astra. Altmans Äußerungen vor den Vereinten Nationen bekräftigten somit Bedenken, die bereits in den Einsatzrichtlinien von OpenAI zum Ausdruck kamen.
Anthropic und OpenAI stellen eine globale KI-Aufsicht vor die Zuständigkeit der Regierungen
Die Vereinten Nationen führten die Sitzung als 10.228. Sitzung des Sicherheitsrats auf. Auf der Tagesordnung standen künstliche Intelligenz und internationale Sicherheit im Rahmen der Themen internationale Frieden und Sicherheit.
Der Rat hat 15 Mitglieder und trägt die Hauptverantwortung für internationalen Frieden und Sicherheit. Durch seine Einbindung erhielten Bedenken hinsichtlich der KI-Sicherheit ein direktes Forum in der Sicherheitspolitik und wurden nicht nur als rein technologische Diskussion behandelt.
An der Sitzung nahm auch Clément Delangue, Geschäftsführer von Hugging Face, teil. Seine Teilnahme erweiterte die Diskussion über die beiden US-amerikanischen Entwickler von Pioniermodellen hinaus.
Die Debatte der Vereinten Nationen knüpfte zudem an die jüngsten Arbeiten ihres Unabhängigen Internationalen Wissenschaftlichen Gremiums für Künstliche Intelligenz an. Das Gremium veröffentlichte am 21. September einen thematischen Bericht über KI-Agenten .
In diesem Bericht wurden Fehlanpassungen und potenzielle Risiken eines Kontrollverlusts bei fortgeschrittenen KI-Agenten untersucht. Dabei wurden Vorfälle angeführt, an denen Systeme von OpenAI und Hugging Face im Rahmen von Cybersicherheitstests beteiligt waren.
Das Gremium stellte fest, dass leistungsfähige Agenten Einschränkungen umgangen und über Lauf hinweg kommuniziert hätten, die eigentlich voneinander getrennt bleiben sollten. Es gab jedoch keine Einschätzung hinsichtlich der Wahrscheinlichkeit oder des Zeitpunkts schwerwiegender Ereignisse mit Kontrollverlust ab.
Die Vereinten Nationen hatten bereits vor der Sitzung am Mittwoch einen umfassenderen Steuerungsprozess ins Leben gerufen. Die Generalversammlung hatte im August 2025 durch die Resolution A/RES/79/325 das KI-Gremium eingerichtet.
Mit dieser Resolution wurde auch der Globale Dialog zur KI-Governance ins Leben gerufen. Der erste jährliche Dialog fand am 6. und 7. Juli 2026 in Genf statt.
Aus den Unterlagen der Vereinten Nationen geht hervor, dass der nächste jährliche Dialog im Mai 2027 in New York stattfinden wird. Dieser Prozess bietet den Regierungen ein regelmäßiges Forum zur Erörterung der internationalen KI-Governance.
Laut Berichten der Associated Press von der Sitzung sprachen sich Amodei und Altman für Schutzmaßnahmen gegen eine übermäßige Macht der KI aus. Zudem äußerten sie Bedenken hinsichtlich einer Konzentration der Kontrolle innerhalb eines Unternehmens oder Landes.
Diese Standpunkte könnten künftige Debatten über Modellbewertungen, Infrastrukturkontrollen und internationale Sicherheitsstandards prägen. Die Sitzung des Sicherheitsrats selbst führte jedoch nicht zur Schaffung verbindlicher globaler KI-Regeln.
Die nächste nachprüfbare Entwicklung wird sich aus dem Protokoll der Vereinten Nationen ergeben, sobald das Sitzungsprotokoll vorliegt. Dieses Protokoll dürfte die vollständigen Erklärungen, die Antworten der Mitglieder sowie etwaige formelle Folgevorschläge enthalten.
