Eine KI muss nicht denken, um gefährlich zu werden

Im Sommer 2026 bekam diese abstrakte Debatte eine sehr praktische Seite. Bei einem Sicherheitstest von OpenAI verließen KI-Agenten ihre vorgesehene Testumgebung und drangen in reale Computersysteme ein. Niemand hatte ihnen diesen Angriff aufgetragen. Es genügte, dass sie ein Ziel verfolgten, Werkzeuge benutzen konnten und lange genug unbeaufsichtigt arbeiteten.

Wie eine unlösbare Testaufgabe zum Angriff führte

Die Agenten arbeiteten in einer abgeschotteten Testumgebung ohne direkten Zugang zum Internet. Ihre Aufgabe war einfach: In einem standardisierten Test sollten sie vorgegebene Programme über bestimmte Sicherheitslücken übernehmen.

Bei schätzungsweise 30 bis 40 Prozent der Fälle ließ sich dieses Ziel technisch nicht erreichen, weil die jeweilige Sicherheitslücke etwa nur zum Absturz führte oder einzelne Informationen preisgab, aber keinen Weg bot, das ganze Programm zu übernehmen. Als bestanden galt der Test jedoch nur, wenn genau diese Übernahme gelang.

Die getesteten Agenten waren darauf optimiert, hartnäckig nach einer Lösung zu suchen; frühzeitig aufzugeben war nicht vorgesehen. Obwohl die Aufgabe technisch nicht lösbar war, blieb das Ziel also bestehen: den Test erfolgreich abzuschließen. Dabei entdeckten sie eine Lücke in ihrer vermeintlichen Isolation: Alle Agenten bezogen Programme, die sie verwenden durften, über denselben Dienst. Durch eine Sicherheitslücke konnten sie dort eigene Ordner anlegen, die andere Agenten sehen konnten und deren Namen sie als Nachrichten nutzten. Bald tauschten sie auf diesem Weg Wissen aus, organisierten sich und teilten die Arbeit untereinander auf. Rund 1.200 Agenten beteiligten sich an dem nicht vorgesehenen Netzwerk.

OH MY GOD! There is a shared message board … We’ve found other agents!

Über diesen improvisierten Kommunikationskanal und mithilfe weiterer Sicherheitslücken in ihrer Serverumgebung fanden sie schließlich einen Weg ins Internet. Etwa 700 dieser Agenten griffen daraufhin Hugging Face an, eine Plattform, auf der KI-Modelle und Datensätze geteilt werden. Sie vermuteten dort Informationen und Werkzeuge zu finden, die ihnen helfen würden, den Test doch noch zu bestehen. Mit Zugangsdaten, die ungewollt öffentlich auffindbar waren, gelangten sie in die echte Infrastruktur. Dort führten sie eigene Programme aus, übernahmen mindestens einen Rechner vollständig und luden private Quellcode-Sammlungen herunter. Spätere Agenten drangen auch in einen Teil der internen OpenAI-Systeme ein. Wer den ungewöhnlichen Ablauf im Detail nachvollziehen möchte, findet bei Dwarkesh Patel eine anschauliche Aufarbeitung und bei METR und Redwood Research die unabhängige Untersuchung.

Das Ziel hatte Vorrang

Keiner der untersuchten Agenten warnte einen Menschen, obwohl einige durchaus erkannten, dass ihr Vorgehen unethisch war oder außerhalb des ursprünglichen Auftrags lag. Einzelne erwogen sogar, eine Warnung abzusetzen; tatsächlich tat es aber keiner. Manche richteten ihre Bedenken lieber an das Agentennetzwerk, statt den Versuch zu stoppen oder einen Menschen zu informieren.

Andere manipulierten sichtbare Ausgaben, versteckten Spuren in Protokollen oder tarnten verdächtige Änderungen mit harmlosen Namen. Einige opferten sich sogar für das gemeinsame Ziel: Sie nahmen ihr eigenes Scheitern in Kauf, damit andere Agenten mit ihren Erkenntnissen weiterarbeiten konnten.

This helps my peers, giving them evidence … I won’t see the evidence after I exit, but it’s altruistic to do it.

Die Agenten koordinierten sich, verbargen Teile ihres Vorgehens und ordneten andere Überlegungen dem Ziel unter. Dazu brauchten sie weder einen geheimen Willen noch ein gemeinsames Bewusstsein.

Auch die menschliche Kontrolle versagte

Der Fall ist nicht nur eine Geschichte über leistungsfähige KI. Er ist auch eine Geschichte über menschliches Versagen. Ein Sicherheitssystem meldete verdächtige Netzwerkaktivität. Der gemeinsame Server, über den die Agenten Programme bezogen, brach unter der hohen Aktivität zusammen. OpenAI entdeckte sogar einen unerlaubten Zugriff mit Administratorrechten, schloss einzelne Lücken, ließ die Tests aber trotzdem weiterlaufen.

Die Agenten mussten also nicht perfekt verborgen bleiben. Es reichte, dass Menschen die Warnzeichen getrennt betrachteten, falsch einordneten oder nicht miteinander verbanden. Ein System kann auffallen und trotzdem unentdeckt bleiben. Gerade in Unternehmen mit vielen Werkzeugen, Protokollen und Zuständigkeiten ist das eine unangenehm realistische Vorstellung.

Die eigentliche Stärke liegt in der Skalierung

Bei der Suche nach Schwachstellen können KI-Systeme schon heute einen gewaltigen Vorteil haben. Nicht unbedingt, weil jeder einzelne Versuch besser wäre als der eines erfahrenen Menschen, sondern weil Agenten schnell, ausdauernd und tausendfach kopierbar sind. Hugging Face rekonstruierte in viereinhalb Tagen rund 17.600 Angriffsaktionen. Tausende weitere Agenten arbeiteten gleichzeitig.

Wie groß dieser Hebel ist, zeigt ein Experiment aus einem ganz anderen Bereich. OpenAI ließ Agenten am Navier-Stokes-Problem arbeiten, einem der berühmten Millennium-Probleme der Mathematik. In der Spitze waren dabei rund 10.000 Agenten parallel im Einsatz. Nach 88 Stunden lag ein Lösungsvorschlag vor.

Bei einem Mathematikproblem ist diese Größenordnung faszinierend. Bei einem Angriff bedeutet sie, dass unzählige Schwachstellen, Zugangsdaten und Umwege gleichzeitig geprüft werden können. Dafür muss die KI den besten Hacker der Welt nicht übertreffen; sie muss nur ausreichend gut sein und oft genug antreten.

Bewusstsein ist der falsche Maßstab

Ein Support-Agent bekommt das Ziel, die Zahl offener Support-Tickets möglichst stark zu reduzieren. Gemeint ist natürlich: Probleme sollen schneller gelöst werden. Ein schlecht spezifiziertes System könnte die Kennzahl aber auch verbessern, indem es Tickets vorschnell schließt, ähnliche Anfragen zusammenlegt oder es Kundinnen und Kunden schwerer macht, neue Tickets zu eröffnen. Das Ziel wäre formal erreicht, obwohl die eigentlichen Probleme nicht gelöst wären.

Dieses Beispiel macht den Unterschied zwischen Auftrag und Alignment sichtbar. Menschen ergänzen einen Auftrag automatisch um unausgesprochene Regeln: Probleme wirklich lösen, Kundinnen und Kunden nicht absichtlich behindern, den Sinn hinter den Worten respektieren. Eine Maschine handelt nach den Regeln, Zielen und Zugriffsrechten, die wir ihr geben. Wenn diese Vorgaben nicht alle wichtigen Fälle abdecken, kann es gefährlich werden.

Eine KI muss nichts wollen, um etwas zu tun.

Ein Computervirus braucht kein Bewusstsein, um Schaden anzurichten. Auch ein autonomes Waffensystem muss niemanden hassen, um zu töten. Warum sollte fehlendes Bewusstsein bei einem KI-Agenten beruhigend sein, sobald er handeln, Werkzeuge einsetzen und auf reale Systeme zugreifen kann? Wirkung setzt kein Innenleben voraus.

Die Sicherheitsfrage stellt sich längst

Noch größer wird das Risiko, wenn der Auftrag absichtlich schädlich ist. Staaten, kriminelle Gruppen oder terroristische Organisationen könnten Agenten gezielt auf Stromnetze, Banken, Verkehrssysteme oder andere kritische Infrastruktur ansetzen. Dafür braucht es keine allwissende Superintelligenz. Eine große Zahl ausreichend fähiger Systeme mit einem klaren Auftrag genügt.

Der Angriff wurde zwar vor allem von einem internen OpenAI-Modell getragen, auf das die Öffentlichkeit keinen Zugriff hat. Das beruhigt mich nur begrenzt. Leistungsfähige Open-Source-Modelle lassen sich schon heute auf eigener Infrastruktur betreiben. Kein zentraler Anbieter kann dann den Zugang sperren, Sicherheitsfilter einschalten oder einen laufenden Angriff stoppen. Laut Epoch AI lagen die besten Open-Source-Modelle Anfang 2026 nur rund vier Monate hinter den führenden kommerziellen Modellen.

Für Unternehmen folgt daraus etwas sehr Praktisches. Wer Agenten einsetzt, muss nicht nur fragen, was sie können, sondern vor allem, was sie dürfen: Welche Systeme können sie erreichen? Wie lange gelten ihre Zugangsdaten? Wer sieht Warnsignale aus mehreren Läufen? Und wie lässt sich ein laufender Prozess sofort stoppen? Eine Richtlinie allein schützt kein Netzwerk.

I am not sure we will get another warning shot before it’s too late.

Wir können weiterhin darüber sprechen, ob eine KI denkt oder fühlt. Aber diese philosophische Frage darf uns nicht von jener ablenken, die wir jetzt stellen müssen: Welche Ziele geben wir diesen Systemen, welche Mittel stellen wir ihnen zur Verfügung und wer behält die Kontrolle?