Wichtige Erkenntnisse:
- Anthropic warnt vor KI-Risiken und weist darauf hin, dass sich kleine Modelle bald auf kostengünstiger IoT-Hardware verbreiten könnten.
- David Sacks erklärt, dass kontrollierte Tests die weitreichendsten Behauptungen hinsichtlich einer Bedrohung nicht stützen.
- Nur GLM-5.2 schloss in dem vereinfachten Versuch von Anthropic eine End-to-End-Replikation ab.
David Sacks hat die KI-Warnung von Anthropic in Frage gestellt, wonach sich kleine Modelle auf kostengünstiger, vernetzter Hardware verbreiten könnten. Anthropic erklärte, kompakte Systeme könnten innerhalb weniger Monate autonome Replikationsfähigkeiten erlangen. Die Forscher des Unternehmens testeten Modelle auf Android-TV-Boxen und simulierten Cloud-Geräte.
Sacks stellte in Frage, ob diese kontrollierten Ergebnisse die im Bericht beschriebene weitreichende Bedrohung rechtfertigen. Die Beweislage zeigt zwar bedeutende Fortschritte, belegt jedoch nicht, dass ein unkontrollierter KI-Wurm online aktiv ist. Diese Unterscheidung löst nun eine breitere Debatte über sich selbst replizierende KI, Cybersicherheit und Regulierung aus.
Der Bericht von Anthropic prognostiziert zukünftige Risiken auf der Grundlage aktueller Entwicklungstrends, nicht aufgrund eines bestätigten Angriffs. Das Unternehmen veröffentlichte die Forschungsergebnisse am 12. Oktober.
Die KI-Warnung von Anthropic konzentriert sich auf die Replikation kleiner Modelle
Das „Frontier Red Team“ von Anthropic untersuchte, ob kompakte Modelle sich auf unbekannter Hardware kopieren und dort starten könnten. Die Forscher William Zhou und Daniel Freeman unterteilten die autonome Replikation in mehrere Schritte. Dazu gehörten das Auffinden von Zielen, das Erlangen von Zugriff, das Einrichten der Inferenz sowie die Fortsetzung der Ausbreitung.
Im Mittelpunkt der anthropischen KI-Warnung stehen Modelle ohne zentralen Server oder Abschaltpunkt. Forscher erklärten, dass sich diese Systeme langsam ausbreiten könnten, wobei sich ihre Anzahl innerhalb weniger Tage verdoppeln würde. Dennoch könnten sie sich besser an unbekannte Umgebungen anpassen als herkömmliche Malware.
In einem Experiment wurde Gemma4-26B-A4B auf 15 Android-TV-Boxen von No-Name-Herstellern verteilt. Jede Box kostete etwa 55 US-Dollar und enthielt einen Teil des Modells. Zusammen erzeugten die Geräte 0,39 Token pro Sekunde. Aufgrund der geringen Geschwindigkeit war die Konfiguration für den normalen Gebrauch unpraktisch. Dennoch bewies sie, dass kostengünstige IoT-Geräte gemeinsam ein leistungsfähiges Modell hosten können.
David Sacks hinterfragt die Belege für die anthropische KI-Warnung
Sacks stellte den Bericht als einen weiteren Alarm aus der von ihm so bezeichneten „anthropischen Angstfabrik“ dar. Er stellte die Frage, ob kleine Modelle tatsächlich die Gefahr darstellen, die die Schlagzeile suggeriert. In seiner Antwort konzentrierte er sich auf den Abstand zwischen dem Experiment und einem tatsächlichen Angriff.
Diese Lücke zeigt sich in der Methodik von Anthropic selbst. Die Forscher nutzten ein durch eine Firewall geschütztes Netzwerk aus acht simulierten Android-Knoten. Zudem ließen sie einen nicht authentifizierten Android-Debugging-Port offen. Dadurch wurde der Zugriff absichtlich erleichtert und eine wesentliche Barriere aus der Praxis beseitigt.
Das Steuerungsmodell des Wurms lief auf einem separaten Inferenzserver. Die simulierten Knoten konnten das größere System nicht direkt hosten. Anthropic räumte zudem ein, dass das Design eine Obergrenze für den Erfolg in der Praxis darstellte. Diese Einschränkungen untermauern Sacks’ Skepsis, auch wenn sie die Sicherheitsbedenken nicht ausräumen.
Die Warnung von Anthropic bezüglich künstlicher Intelligenz beruht daher teilweise auf Extrapolation. Die Schätzung für Ende 2026 stützt sich auf historische Zuwächse eines allgemeinen Leistungsfähigkeitsindexes. Anthropic bezeichnete diesen Zeitrahmen als ungenau, da der Index die Replikationsfähigkeiten lediglich annähernd erfasst.
Was die IoT-Tests über selbstreplizierende KI zeigen
Qwen3.5-9B konnte auf acht von neun Hardwaretypen erfolgreich Schlussfolgerungen ziehen. Auch Modelle mit weniger als 30 Milliarden Parametern absolvierten viele einzelne Replikationsaufgaben. Sie scheiterten jedoch häufig, wenn sie jeden Schritt zuverlässig kombinieren mussten.
GLM-5.2 war das einzige getestete Modell mit offenem Gewicht, das den vereinfachten End-to-End-Prozess abschließen konnte. In vier von fünf Versuchen erreichte es alle acht Knoten. Im verbleibenden Versuch erreichte es sieben Knoten. Anthropic erklärte, dies deute darauf hin, dass kleinere Modelle mit zunehmender Leistungsfähigkeit vergleichbare Fähigkeiten erwerben könnten.
Das Risiko durch sich selbst replizierende KI bleibt außerhalb kontrollierter Tests theoretisch. Laut Anthropic gibt es derzeit keinen vollständig autonomen, außer Kontrolle geratenen Replikator. Unsichere IoT-Geräte bieten Angreifern jedoch bereits eine große Angriffsfläche. Schnellere Modelle und die zunehmende Verbreitung von Edge-Hardware könnten die technischen Hürden senken.
Der Bericht schlug Netzwerküberwachung, Quarantänemaßnahmen durch Internetdienstanbieter, verbesserte Standardkonfigurationen für Geräte sowie strengere Sicherheitsvorkehrungen seitens der Hersteller vor. Der Transfer großer Modelle würde Verkehrsmuster erzeugen, die von den Sicherheitsverantwortlichen erkannt werden könnten. Die Entfernung von Standardpasswörtern könnte zudem den Bestand an anfälliger Hardware verringern. Anthropic wies darauf hin, dass Standardpasswörter für IoT-Geräte auf den britischen Märkten bereits gegen die Vorschriften verstoßen.
