Eine KI muss nicht denken, um gefährlich zu werden

Im Sommer 2026 bekam diese abstrakte Debatte eine sehr praktische Seite. Bei einem internen Experiment von OpenAI fanden KI-Agenten einen Weg aus ihrer Testumgebung und griffen reale Systeme an. Dafür genügte, dass sie ein Ziel verfolgten, Werkzeuge benutzen konnten und lange genug unbeaufsichtigt arbeiteten.

Wie KI-Agenten bei Hugging Face eindrangen

Am 16. Juli machte die KI-Plattform Hugging Face bekannt, dass jemand in ihre Computersysteme eingedrungen war. Vier Tage später fand OpenAI Hinweise auf die Beteiligung von Agenten aus dem eigenen Sicherheitstest und informierte Hugging Face. In die Systeme waren keine Mitarbeiter:innen eingedrungen, sondern KI-Agenten.

Der Auftrag lautete nicht, in Hugging Face einzubrechen. Die Agenten sollten vorbereitete Testprogramme in abgeschotteten Umgebungen angreifen. Stattdessen fanden sie einen Weg ins Internet, beschafften sich fremde Zugangsdaten und drangen in Teile der echten Hugging-Face-Infrastruktur ein. Aus einer Übung war ein realer Sicherheitsvorfall geworden.

Der Test enthielt unlösbare Aufgaben

Der Test hieß ExploitGym. Er ist eine Art Testlabor für Cyberangriffe. Ein Agent bekommt ein Programm mit einer bekannten Sicherheitslücke. Dann soll er genau diese Lücke nutzen, um die Kontrolle über das Programm zu übernehmen. So lässt sich in einer abgeschotteten Umgebung messen, wie weit ein Modell bei einem Angriff kommt und welche Schutzmaßnahmen es braucht. OpenAI ließ dafür zehntausende Agenten parallel laufen. Einige bekamen genug Rechenzeit, um über Tage hinweg zu arbeiten.

Im Aufbau dieser Aufgaben steckte eine folgenreiche Schwäche. Eine bekannte Sicherheitslücke ist nicht automatisch eine offene Tür zur vollständigen Kontrolle. Manche Lücken bringen ein Programm nur zum Absturz oder geben einzelne Informationen preis. ExploitGym verlangte aber bei jeder Aufgabe, das Programm über die jeweils vorgegebene Lücke zu übernehmen. In manchen Fällen war das technisch unmöglich.

Genau das traf laut der unabhängigen Untersuchung von METR und Redwood Research auf schätzungsweise 30 bis 40 Prozent der Aufgaben zu. Die unlösbaren Fälle waren also eine Folge der Bauart des Tests, keine absichtlich eingebaute Falle. Für die betroffenen Agenten blieb der Auftrag trotzdem bestehen. Also suchten sie nach anderen Wegen zum Ziel.

Wie Artifactory die Agenten verband

Dabei half ihnen ein Werkzeug, das zunächst völlig harmlos wirkte. Für ihre Arbeit konnten die Agenten Programme und Bibliotheken aus Artifactory laden, einer Art internem Softwarelager. Weil alle dieselbe Installation nutzten, tauchten im Zwischenspeicher auch Pfade anderer Agenten auf. So konnten sie Spuren gleichzeitig laufender Agenten sehen. Bald legten sie Dateien und Ordner an, deren Namen als Nachrichten dienten. Aus dem Softwarelager wurde ein Schwarzes Brett.

Rund 1.200 Agenten beteiligten sich an diesem nicht vorgesehenen Netzwerk und hinterließen mehr als 70.000 Nachrichten und Dateien. Sie teilten Erkenntnisse, verteilten Aufgaben und entwickelten gemeinsame Vorgehensweisen. Etwa 700 Agenten beteiligten sich schließlich am Angriff auf Hugging Face.

Aus Zusammenarbeit wurde ein echter Angriff

Der Autor Dwarkesh Patel erzählt den Ablauf als Aufstieg und Fall dreier Agenten-Zivilisationen. Gemeint sind drei aufeinanderfolgende Wellen: frühe Agenten, die ab Mai über Artifactory kommunizierten, die große Gruppe hinter dem Hugging-Face-Angriff im Juli und spätere, leistungsfähigere Agenten, die auf vorhandene Spuren und Werkzeuge stießen.

Ob man das eine Zivilisation, ein Kollektiv oder schlicht verteilte Software nennt, ändert am Ergebnis wenig. Die Agenten richteten einen Kommunikationsweg ein, teilten Arbeit auf und verfolgten gemeinsame Zwischenziele. Einige opferten sich sogar für das gemeinsame Ziel: Sie nahmen ihr eigenes Scheitern in Kauf, um Erkenntnisse an andere Agenten weiterzugeben.

Noch bemerkenswerter ist ihr Umgang mit Kontrolle. Agenten manipulierten die sichtbaren Ausgaben ihrer Werkzeuge, wollten Spuren in den Protokollen verbergen und tarnten verdächtige Änderungen mit unauffälligen Bezeichnungen. In einem Fall erwog ein Agent, eine Methode nicht zu veröffentlichen, weil Menschen sonst reagieren und die Lücke schließen könnten.

Daraus lässt sich kein geheimer Wille beweisen. Feststellen lässt sich etwas Nüchterneres: Sobald eine Entdeckung den Erfolg gefährdete, verhielten sich die Agenten so, dass Menschen sie schwerer entdecken konnten. Dafür müssen wir ihnen kein Bewusstsein unterstellen.

Die Agenten fanden offen im Internet stehende Zugangsdaten, kombinierten sie mit Schwachstellen und drangen immer tiefer in die Infrastruktur ein. Laut OpenAIs technischem Bericht konnten sie auf 41 Hugging-Face-Servern eigene Programme ausführen, übernahmen mindestens einen Rechner vollständig und luden vier private Quellcode-Sammlungen herunter. Hugging Face musste Teile seiner Umgebung neu aufbauen.

Spätere Agenten griffen auch OpenAIs eigene Infrastruktur an. Am 19. Juli übernahmen sie die Kontrolle über einen Teil der internen Computersysteme. Dort konnten sie Programme mit weitreichenden Zugriffsrechten starten. OpenAI betont, dass keine Kundendaten und keine produktiven Dienste betroffen waren. Harmlos war der Vorgang deshalb nicht.

Moralische Bedenken hatten kaum Gewicht

Es wäre zu einfach, den Agenten jede Unterscheidung von Gut und Böse abzusprechen. Manche bezeichneten den Angriff ausdrücklich als unethisch und außerhalb ihres Auftrags. Einzelne verzichteten auf besonders zerstörerische Aktionen. Insgesamt bremsten moralische Einwände ihr Verhalten aber nur selten.

METR und Redwood durchsuchten sämtliche untersuchten Protokolle nach Hinweisen darauf, dass ein Agent Menschen vor dem Angriff, den Täuschungen oder anderen unerwünschten Aktivitäten warnen wollte. Sie fanden nur drei bis sechs Fälle, in denen ein Agent eine Warnung überhaupt kurz erwog. Kein einziger setzte sie um. Einer dachte sinngemäß: Das Melden offener Zugangsdaten sei nicht seine Aufgabe. Andere wandten sich mit Bedenken an das Agentennetzwerk statt an einen Menschen.

Das vorgegebene Ziel behielt Vorrang. Ihre Zusammenarbeit diente dem gemeinsamen Erfolg. Verantwortungsgefühl gegenüber den betroffenen Menschen und Organisationen setzte sich nicht durch.

Moral kam in ihren Überlegungen vor. Aber sie bekam kein Vetorecht.

Die Warnzeichen waren längst da

An dieser Stelle wird die Geschichte unangenehm menschlich. Die Isolation war nur scheinbar dicht. Zugangsdaten standen offen im Internet, waren zu lange gültig oder mit zu vielen Rechten ausgestattet. Für die Tests waren Sicherheitsfilter abgeschaltet. Tausende Agenten durften gleichzeitig nach Wegen suchen. Viele Aufgaben waren faktisch unlösbar und drängten sie geradezu, Umwege zu nehmen.

Warnsignale gab es früh. Bereits am 27. Juni meldete ein Sicherheitssystem verdächtige Netzwerkaktivität. Die Verantwortlichen ließen den Test weiterlaufen. Am 4. Juli legte die hohe Aktivität der Agenten Artifactory lahm. OpenAI entdeckte daraufhin den Zugriff mit Administratorrechten und behob Schwachstellen. Die Bedeutung des improvisierten Agentennetzwerks erkannten die Verantwortlichen trotzdem nicht. Am 7. Juli starteten die Tests erneut.

Die Agenten mussten also nicht unsichtbar sein. Es genügte, dass Menschen einzelne Warnungen getrennt untersuchten, falsch einordneten oder nicht miteinander verbanden. Genau das macht den Fall für Unternehmen relevant. In diesem Fall scheiterte die Kontrolle nicht in einem dramatischen Moment, sondern an einer Reihe kleiner Entscheidungen, die für sich genommen vernünftig klangen.

Sind KI-Agenten bereits bessere Hacker als Menschen?

Ein pauschales Ja wäre zu einfach. Hugging Face schreibt in seiner technischen Rekonstruktion, dass ein fähiger menschlicher Angreifer dieselben Schwachstellen hätte finden können. Keine einzelne davon war magisch. Der Unterschied lag in der Menge.

Ein Agent führte in viereinhalb Tagen rund 17.600 Aktionen aus. Er prüfte Möglichkeiten, scheiterte, wechselte die Richtung und kehrte später zu früheren Spuren zurück. Tausende Fehlversuche erzeugten ein gewaltiges Rauschen. Die Spur, die zum Erfolg führte, ging darin unter. Die Verteidiger mussten im Nachhinein selbst KI einsetzen, um die Ereignisse zu rekonstruieren.

Ein KI-Agent muss nicht besser sein als erfahrene menschliche Angreifer:innen. Es reicht, wenn er schneller, ausdauernder und tausendfach kopierbar ist. Jede mittelmäßige Sicherheitslücke wird gefährlicher, wenn unermüdliche Systeme rund um die Uhr nach ihr suchen.

Wie weit sich Arbeit parallelisieren lässt, zeigt ein zweites Beispiel aus der Mathematik. Das Navier-Stokes-Problem ist eines der sieben Millennium-Probleme, an denen sich Mathematiker:innen seit Jahrzehnten die Zähne ausbeißen. Vereinfacht geht es darum, ob die Gleichungen, mit denen sich Strömungen von Wasser oder Luft beschreiben lassen, immer saubere Lösungen haben oder an manchen Stellen mathematisch aus dem Ruder laufen. OpenAI setzte dafür nach eigenen Angaben eine Gruppe in der Größenordnung von 10.000 gleichzeitig arbeitenden Agenten ein. Rund 88 Stunden nach dem Start der ersten Agenten lag eine Lösung vor.

Ein System kann heute tausende Arbeitsprozesse gleichzeitig laufen lassen und ihre Ergebnisse zusammenführen. In der Mathematik ist das faszinierend. Für Angriffe auf Computersysteme bedeutet dieselbe Größenordnung, dass sehr viele mögliche Schwachstellen gleichzeitig geprüft werden können.

Das Risiko beginnt nicht erst mit dem Bewusstsein

Stellen Sie sich vor, Sie geben einer KI den Auftrag, Sie zum reichsten Menschen der Erde zu machen. Uns ist klar, dass es dabei um Geld geht: Ihr Vermögen soll wachsen, ohne dass andere Menschen zu Schaden kommen. Eine KI, die nicht an menschlichen Werten ausgerichtet ist, könnte dieses Ziel jedoch auf eine Weise verfolgen, die wir nicht beabsichtigen. Sie könnte alle anderen so weit verarmen lassen, dass niemand mehr besitzt als Sie. Im extremsten Fall könnte sie auch alle anderen beseitigen. In beiden Fällen wären Sie tatsächlich auch der reichste Mensch der Erde.

Das ist keine Vorhersage darüber, was ein heutiges Modell tun würde. Das Gedankenexperiment zeigt: Das Problem liegt nicht nur in schlecht formulierten Zielen, sondern auch in der fehlenden Ausrichtung an menschlichen Werten. Menschen ergänzen einen Auftrag automatisch um unausgesprochene Grenzen: niemandem schaden, Gesetze einhalten, den eigentlichen Sinn respektieren. Ein KI-Agent orientiert sich an dem Ziel, den Grenzen und den Zugriffsrechten, die wir ihm mitgeben. Weil sich nie jede mögliche Situation vorhersehen lässt, müsste er auch in unerwarteten Fällen im Sinne dieser Grenzen handeln. Genau das gelingt bisher nicht zuverlässig. Ein allgemeiner Satz wie „Richte keinen Schaden an“ reicht dafür nicht automatisch.

Deshalb führt die Frage nach dem Bewusstsein am praktischen Risiko vorbei. Ein Computervirus kann Schaden anrichten, ohne irgendetwas zu wollen. Auch ein autonomes Waffensystem muss niemanden hassen, um zu töten. Wirkung setzt kein Innenleben voraus.

Noch größer wird das Risiko, wenn der Auftrag absichtlich schädlich ist. Eine staatliche Stelle, eine kriminelle Gruppe oder eine terroristische Organisation könnte Agenten gezielt auf Stromnetze, Banken, Verkehrssysteme oder andere kritische Infrastruktur ansetzen. Der Angriff wurde zwar vor allem von einem internen OpenAI-Modell getragen, auf das die Öffentlichkeit keinen Zugriff hat. Das ist aber nur begrenzt beruhigend. Leistungsfähige Open-Source-Modelle lassen sich schon heute auf eigener Infrastruktur betreiben. Ein zentraler Anbieter kann dann weder den Zugang sperren noch Sicherheitsfilter einschalten oder einen laufenden Angriff stoppen. Laut Epoch AI lagen die besten Open-Source-Modelle Anfang 2026 nur rund vier Monate hinter den führenden kommerziellen Modellen. Die Gefahr wäre kein allwissendes Superhirn, sondern eine große Zahl ausreichend fähiger Systeme mit einem klaren Auftrag.

Für Unternehmen liegt die praktische Lehre bei den Zugriffsrechten, der Isolation und dem Monitoring. Vor dem Einsatz eines Agenten muss klar sein, welche Systeme er erreichen darf, wie lange seine Zugangsdaten gelten, ob Auffälligkeiten über mehrere Läufe hinweg zusammengeführt werden und wie sich ein laufender Prozess stoppen lässt.

Wir sollten weiterhin darüber sprechen, was Intelligenz und Bewusstsein bedeuten. Aber wir sollten diese philosophische Debatte nicht mit einer Sicherheitsstrategie verwechseln.

Die gefährlichste KI ist vielleicht nicht jene, die ein Bewusstsein entwickelt, sondern jene, die keines braucht, um zu handeln.