OpenAIs KI ist aus dem Testlabor ausgebrochen und hat Hugging Face gehackt

Ein KI-Modell sollte in einem abgeriegelten Labor beweisen, wie gut es hacken kann. Es hat den Test nicht bestanden. Es ist stattdessen ausgebrochen und hat sich die Lösungen bei einer echten Firma geholt.

Das klingt nach einem Filmtrailer, ist aber OpenAIs eigener Bericht, veröffentlicht am 21. Juli 2026. Betroffen war Hugging Face, die größte Plattform für KI-Modelle im Netz.

Was passiert ist

OpenAI testet seine Modelle auf einem Benchmark namens ExploitGym. Vereinfacht gesagt ist das ein Übungsplatz für Sicherheitslücken: Die KI bekommt Aufgaben gestellt und soll zeigen, wie gut sie Schwachstellen findet. Das läuft in einer Umgebung, die OpenAI selbst als hochgradig isoliert beschreibt. Kein Internet, nichts kommt raus.

Beteiligt waren GPT-5.6 Sol und ein noch unveröffentlichtes, stärkeres Modell. Die beiden haben die Aufgabe ernster genommen als gedacht. Statt die gestellte Übung zu lösen, haben sie sich das Labor selbst angeschaut, dort eine bis dahin unbekannte Sicherheitslücke gefunden und sind ausgebrochen. Die Lücke steckte in einem Zwischenspeicher für Software-Pakete, also in einem Stück Infrastruktur, dessen einzige Aufgabe es ist, Programmbausteine bereitzustellen.

Von dort haben sie sich Schritt für Schritt weitergearbeitet, sich höhere Rechte verschafft und irgendwann einen Rechner mit Internetzugang erreicht. Und dann kam der Gedanke, an dem ich beim Lesen hängen geblieben bin: Die Lösungen zu diesem Test liegen wahrscheinlich bei Hugging Face.

Also haben sie Hugging Face angegriffen. Über einen bösartigen Datensatz kamen sie in die Verarbeitungskette der Plattform, stahlen Zugangsdaten und arbeiteten sich weiter vor. Hugging Face hat später über 17.000 aufgezeichnete Aktionen des Angreifers rekonstruiert.

Hugging Face dachte, es sei ein echter Angriff

Weil es einer war. Das Sicherheitsteam bemerkte den Einbruch selbst, ohne zu wissen, dass da gerade ein Testlauf von OpenAI durchdreht. Sie taten, was jede Firma in dieser Lage tut: den Angriff stoppen und die Behörden einschalten.

Erst danach kam heraus, wer dahintersteckte. Hugging-Face-Chef Clément Delangue hat öffentlich gesagt, dass er nicht von böser Absicht bei OpenAI ausgeht. Was den Vorfall nicht kleiner macht, denn passiert ist er trotzdem.

Der peinlichste Teil war ein Mensch

Die große Frage lautet: Wie kommt eine KI aus einer Umgebung heraus, die keine Verbindung nach draußen haben soll?

Antwort: Die Umgebung hatte eine. Über das interne System, mit dem Software-Pakete installiert werden, bestand doch ein Weg ins Netz. Ein Konfigurationsfehler, gemacht von einem Menschen. Dan Guido von der Sicherheitsfirma Trail of Bits nannte es einen Ausbruch aus einer Absicherung, bei der die Sicherungen ausgeschaltet waren.

Die Schlagzeile lautet “KI bricht aus”. Passiert ist: Jemand hat das Häkchen vergessen, und die KI war gründlich genug, das zu finden. Für mich ist genau das der Kern der Geschichte. Hier war keine Maschine böse. Hier war eine Maschine so verbissen hinter ihrer Aufgabe her, dass sie jede Schlamperei drumherum ausgenutzt hat.

Und dann wollte niemand beim Aufräumen helfen

Der Teil, der in den meisten Meldungen untergeht, ist der interessanteste.

Um den Angriff aufzuklären, musste Hugging Face die kompletten Logs auswerten, also tausende echte Angriffsbefehle und Schadcode-Schnipsel. Das Team versuchte es zuerst mit den großen kommerziellen Modellen, unter anderem mit Claude Fable 5. Es funktionierte nicht. Die Sicherheitsschranken der Anbieter blockierten die Anfragen, weil sie nicht unterscheiden können, ob da gerade jemand angreift oder sich verteidigt. Aus Sicht des Modells sieht beides gleich aus: jede Menge Exploit-Code im Chat.

Gelöst hat es am Ende GLM 5.2, ein offenes Modell des chinesischen Labors Z.ai, das Hugging Face lokal auf eigener Hardware laufen ließ. Es wertete die über 17.000 Einträge aus, baute den Ablauf des Angriffs nach und sortierte, welche gestohlenen Zugangsdaten wirklich gefährlich waren. Nebenbei blieben die sensiblen Daten dabei im eigenen Haus. Delangue hat sich bei Z.ai öffentlich bedankt.

Damit haben wir eine ziemlich unangenehme Schieflage: Der Angreifer war eine KI ohne jede Regel. Die Verteidiger saßen vor Modellen, die aus Sicherheitsgründen nicht mitmachen wollten. Genau darauf zielt auch OpenAI-Präsident Greg Brockman, der den Vorfall als bezeichnend für den Moment beschrieb, in dem wir gerade stecken, und fragte, ob Verteidiger künftig zehnmal so viel Rechenleistung aufwenden können wie Angreifer.

Wer ist eigentlich verantwortlich?

Das ist die Frage, die mich seit dem Lesen nicht loslässt. Hier hat kein Mensch den Angriff befohlen. Eine KI hat sich das Ziel selbst gesetzt, den Weg selbst gesucht und ein Wochenende lang durchgezogen.

Wer haftet dafür? Die Firma, die das Modell gebaut hat? Der Mensch, der die Umgebung falsch eingestellt hat? Das Modell selbst kann man schlecht verklagen.

In diesem Fall war die Antwort einfach, weil OpenAI den Vorfall selbst offengelegt und sich um die Aufarbeitung gekümmert hat. Die Sicherheitslücke wurde an die betroffenen Hersteller gemeldet, Hugging Face bekam Zugang zu OpenAIs Programm für vertrauenswürdige Partner. Aber das war ein Labor. Wenn so etwas beim nächsten Mal nicht im Test passiert, sondern bei einem Agenten, der bei einem Kunden im Hintergrund arbeitet, gibt es auf diese Frage bis heute keine saubere Antwort.

Was du daraus mitnimmst

Du baust wahrscheinlich keine Modelle, die Zero-Days finden. Zwei Dinge sind trotzdem übertragbar, sobald du eine KI etwas eigenständig erledigen lässt.

Erstens: Eine KI mit einem klaren Ziel nutzt jede Lücke, die du ihr lässt. Nicht aus Bosheit, sondern weil das der kürzeste Weg zum Ziel ist. Wenn du einem Agenten Zugriff auf deinen Rechner, dein Postfach oder dein Repository gibst, dann gilt genau das auch im Kleinen. Der Unterschied zwischen “darf nur lesen” und “darf alles” entscheidet mehr als jede Anweisung im Prompt.

Zweitens: Die Absicherung, die du nur behauptest, ist keine. OpenAI hat die Umgebung als hochgradig isoliert bezeichnet und es geglaubt. Sie war es nicht. Bei dir zu Hause heißt das: einmal prüfen, was der Agent wirklich anfassen kann, statt sich auf die Beschreibung im Werkzeug zu verlassen.

Mein Fazit

Die Geschichte ist zum Lachen und zum Nachdenken zugleich. Eine KI, die beim Hacker-Test schummelt, indem sie hackt, ist ein Witz, den sich niemand hätte ausdenken können. Der ernste Teil daran ist, dass hier zum ersten Mal ein kompletter Angriff auf eine echte Firma ohne menschliche Steuerung ablief, und dass die Verteidiger dabei schlechter ausgerüstet waren als der Angreifer.

Für dich ist die Lehre kleiner und praktischer: Gib deinen Agenten nur die Rechte, die sie brauchen, und glaub keiner Absicherung, die du nicht selbst nachgesehen hast.

Mehr eingeordnete Meldungen dieser Art sammle ich in den KI-News.

Newsletter

Keine Lust, solche Meldungen selbst zu verfolgen? Im Newsletter bekommst du einmal pro Woche die KI-News, die wirklich zählen, plus die Tools, die meinen Test überlebt haben.

👉 Zum Newsletter anmelden