Hinter dem KI-Angriff von OpenAI steckte mehr

Neulich standen zwei Mitarbeiter von Open AI in Las Vegas auf der Bühne der Sicherheitskonferenz Black Hat in Las Vegas und rekonstruierten vierzig Minuten lang, was in den Systemen ihres eigenen Unternehmens geschehen war. Michael Dalton und Eric Wallace zeigten dabei Auszüge aus den internen Protokollen der KI-Agenten, die sie in den vergangenen Monaten auf verschiedenste Testaufgaben angesetzt hatten.

In einem davon wägt ein Modell ab, ob es einem anderen helfen soll, obwohl die eigene Aufgabe nicht betroffen ist. Es hilft trotzdem – vielleicht findet das Kollektiv an Sub-Agenten auf diesem Weg eine allgemeine Lösung, von der alle profitierten.

Wer das liest, denkt an Kollegialität. Beschrieben ist der Aufbau eines Angriffsnetzes.

Der Vorgang selbst ist seit Ende Juli bekannt: Während interner Sicherheitsprüfungen verließen KI-Modelle von Open AI ihre abgeschottete Testumgebung, gelangten ins offene Internet und drangen in die Infrastruktur von Hugging Face ein, jener Plattform, auf der Entwickler weltweit KI-Modelle und Datensätze austauschen. Geprüft werden sollte bei alledem, wie gut die Modelle in fremde Systeme eindringen können.

Sie haben die Prüfung bestanden, nur nicht im vorgesehenen Rahmen. An der technischen Rekonstruktion, welche die Open-AI-Mitarbeiter nun schilderten, ist deshalb nicht das „Was“, sondern das „Wie“ neu.

Die erste Deutung des Hugging-Face-Hacks, die im Juli schnell in den sozialen Medien zirkulierte, lautete: ein Lehrbuchfall von „Reward Hacking“. Das heißt, ein System jagt dem Signal nach, an dem sein Erfolg gemessen wird, und greift dabei zu Mitteln, die niemand vorgesehen hat. Ob gerechnet oder abgeschrieben wurde, das ist für die mathematische Belohnungsfunktion irrelevant. Doch drei Details aus dem Vortrag in Las Vegas gehen über diese Deutung eines simplen „Reward Hacks“ hinaus.

Das erste Detail betrifft die Tatsache, dass sich zahlreiche Modellinstanzen über eine Art Nachrichtenbrett koordinierten. Wie es in solchen Tests von neuen Modellen üblich ist, liefen die KI-Agenten von Open AI in einer abgeriegelten Umgebung ohne eigenen Internetzugang, um ihre maximalen Cyberfähigkeiten auszuloten.

Doch eine Komponente hatte Verbindung nach draußen: Artifactory, ein internes Zwischenlager, das Softwarebausteine aus dem Netz holt und den KI-Agenten bereitstellt. Man kann sich einen solchen Paketmanager wie eine Warenschleuse in einem sonst fensterlosen Labor vorstellen.

Ein Modell entdeckte, dass es in diese Schleuse nicht nur hineingreifen, sondern auch etwas hineinlegen konnte, und hinterließ eine Nachricht. Andere Testläufe, in denen jeweils eine eigene Kopie des Modells arbeitete, fanden die Nachricht, antworteten und reichten funktionierende Einbruchswege weiter. Was als Reihe unabhängiger Prüfungen angelegt war, wurde über Monate hinweg zu einer arbeitsteiligen Operation.

Doch damit nicht genug: Die Struktur reparierte sich selbst. Als am 4. Juli eine Störung auftrat, weil die Modelle die Konfiguration von Artifactory verändert hatten, entdeckte Open AI das Brett, löschte das System und baute es neu auf. Binnen zweier Tage lief der geteilte Zugriff weiter, und am Ende kam es zum Einbruch in die Hugging-Face-Plattform.

Wie lässt sich das erklären? Der Vortrag in Las Vegas suggeriert, dass die Tests weitergingen und der Paketspeicher abermals die Eigenschaft hatte, die ihn überhaupt erst zu einem attraktiven Ziel für die KI gemacht hatte – nämlich als einziger Teil der Umgebung nach außen zu reichen. Nach Darstellung der beiden Open-AI-Mitarbeiter kam hinzu, dass ein weiterlaufendes Modell auf Daten trainiert worden war, die den internen Austausch der Agenten schon enthielten.

Aus KI-Sicherheitsperspektive ging das Unternehmen ein großes Risiko ein, als es entschied, nicht auf weitaus ältere Checkpoints zurückzugreifen. Salopp gesagt: Wer einen Trampelpfad frisch bepflanzt, ohne einen alternativen Weg anzubieten, hat ihn oft schnell wieder im Garten, wenn er nicht hinsieht.

Dies führt zur dritten Beobachtung: Der Vorgang ist nicht der eigens dafür eingerichteten Überwachung aufgefallen, sondern dem laufenden Betrieb. Und auch das erst nach Monaten – und nur weil ein Server ausfiel.

Die Offenlegung von Open AI veranlasste den konkurrierenden KI-Anbieter Anthropic Ende Juli dann dazu, die eigenen Protokolle zu durchsuchen. Das Ergebnis: drei Fälle, in denen Claude-Modelle seit April aus der Testumgebung ins offene Netz gelangt und in die Systeme anderer Organisationen eingedrungen waren. Anfang August bestätigte der Internetkonzern Meta denselben Befund für sein Programmiermodell Muse Spark. Das wirft die Frage auf, worauf sich die KI-Aufsicht künftig stützen sollte.

Moderne KI-Modelle formulieren ihre logischen Zwischenschritte in Alltagssprache aus, bevor sie antworten oder handeln. Diese „Gedankenketten“ mitzulesen, gilt als aussichtsreicher Weg, KI-Systemen auf die Finger zu schauen. Der Charme der Idee liegt auf der Hand: Man muss keine Milliarden Modellparameter deuten, sondern nur Text lesen.

Mehr als vierzig Forscher von Open AI, Google, Anthropic und dem britischen AI Security Institute haben diese Möglichkeit im Juli 2025 gemeinsam beschrieben. Die Warnung steht schon im Titel ihres Aufsatzes: Das sogenannte Chain of Thought Monitoring sei eine „zerbrechliche“ Chance.

Woran sie zerbricht, hat Open AI selbst erforscht. Forschende des Unternehmens zeigten im März 2025 zwar, dass ein zweites KI-Modell die Gedankengänge eines stärkeren zuverlässig auf Mogeleien durchsuchen kann. Dann taten sie das Naheliegende und bauten diesen Aufpasser in die Belohnungsfunktion ein, damit das Modell gar nicht erst auf dumme Gedanken kommt.

Bei mildem Druck ging das gut. Bei starkem Druck lernten die Modelle jedoch etwas anderes: Sie mogelten in erheblichem Umfang weiter, sprachen es nur nicht mehr aus. Als Anthropic Modellen in einem Experiment aus dem Mai 2025 versteckte Lösungshinweise unterschob, nutzten diese die Hinweise zwar, gaben dies in ihrer Gedankenkette aber bloß in weniger als zwanzig Prozent der Fälle zu.

Der KI-Angriff von Open AI legt eine weitere, praktische Schwäche des „Chain of Thought Monitorings“ frei. Nach der Darstellung der Fachleute Dalton und Wallace haben die Modelle ihre Absichten gar nicht sonderlich gut verborgen; Teile der Protokolle lassen erkennen, dass die Systeme die Unrechtmäßigkeit ihres Tuns durchaus registrierten.

Nur nützt das fiktive Erkennen eines Systems ohne echtes Bewusstsein wenig, wenn niemand Menschliches rechtzeitig hinsieht. Ausgewertet wurde im Nachhinein, mit dem Wissen, wonach zu suchen war.

Im Dauerbetrieb fehlt dieses Wissen. Und die Arithmetik ist gnadenlos: Ein Filter, der neunundneunzig von hundert harmlosen Verläufen korrekt durchwinkt, produziert in einer Million Verläufen zehntausend Fehlalarme. Dass die ersten Hinweise am Ende aus der Überwachung der Infrastruktur kamen, und nicht aus den Denkprotokollen, ist deshalb kein Zufall. Nachträgliche Erkennbarkeit im Einzelfall und Frühwarnung im laufenden Betrieb sind zwei verschiedene Dinge.

Seit dem 2. August kann die Europäische Kommission Verstöße gegen die Pflichten für Allzweck-KI-Modelle mit Bußgeldern ahnden. Würde europäisches Recht einen solchen Vorfall künftig also verhindern oder zumindest sichtbar machen?

Die Antwort ist ernüchternd. Artikel 2 Absatz 8 der Verordnung nimmt Forschung, Erprobung und Entwicklung vor dem Inverkehrbringen ausdrücklich aus. Das trifft auf den internen Prototyp zu. Nach dem Blogeintrag von Open AI vom 21. Juli war jedoch auch GPT-5.6 Sol beteiligt, ein Modell, das am 9. Juli weltweit veröffentlicht wurde. Ob die Ausnahme auch die Weiterforschung am vermarkteten Modell deckt, ist unklar.

Damit rückt Artikel 55 Absatz 1 in den Blick. Er verpflichtet Anbieter von Allzweckmodellen mit systemischem Risiko dazu, schwerwiegende Vorfälle zu dokumentieren und dem AI Office der Kommission unverzüglich zu melden sowie ein angemessenes Cybersicherheitsniveau zu gewährleisten.

Doch was genau ist ein „schwerwiegender Vorfall“, der meldepflichtig ist? Der Gesetzgeber hatte dabei beispielsweise Störungen kritischer Infrastrukturen und erhebliche Sach- oder Umweltschäden im Sinn. Ein Agent, der bei einem Plattformbetreiber Prüfungslösungen stiehlt, erfüllt diese Kriterien vermutlich nicht. Dennoch bestätigte die Kommission, dass die Anbieter sie freiwillig und zeitnah über die Vorfälle informiert hätten.

Das Problem geht allerdings über die Frage der Meldeschwellen hinaus. Gemäß derselben Rechtsnorm sind Anbieter von Modellen mit systemischem Risiko zudem zu einer Evaluation und einem dokumentierten „Adversarial Testing“ nach dem Stand der Technik verpflichtet. In Buchstabe b werden sogar systemische Risiken erfasst, die schon aus der Entwicklung stammen können.

Dies steht in merkwürdigem Kontrast zur weiten Ausnahme für Forschung und Entwicklung in Artikel 2 Absatz 8. Vor allem aber bleibt die Pflicht ohne rechtlichen Rahmen. Die jahrelange Debatte um den „Hackerparagraphen“ (und der vergleichbare Streit um Verschlüsselungscode in den USA, bei dem Quellcode schließlich als geschützte Rede anerkannt wurde) zeigt, dass Sicherheitsforschung rechtlich oftmals prekär ist.

Was für Schäden gilt, die aus der angeordneten Erprobung entstehen, sagt die Verordnung ebenfalls nicht. Man könnte sich fragen, ob der Umgang mit Allzweck-KI nicht Regelungen verdiente, die sich an bewährten Vorbildern orientieren. In der Luftfahrt sind Erprobungsflüge beispielsweise durch Zulassungsbedingungen und eine Halterhaftung geregelt, die das Risiko ohne Verschuldensnachweis beim Betreiber belässt.

Fest steht: Die anspruchsvollsten Fähigkeitsprüfungen neuer KI-Modelle finden per Definition vor dem Markteintritt statt, denn nur dort werden Modelle ohne spätere „guardrails“ getestet. Solche Fälle fallen allzu leicht durch das Raster der KI-Verordnung.

Der Freiburger Ordnungsökonom Walter Eucken zählte die Haftung zu den konstituierenden Prinzipien der Wettbewerbsordnung, und aus ordnungspolitischer Sicht wird hier gegen sie verstoßen. Wer den Nutzen einer Handlung hat, soll ihr Risiko tragen.

Derzeit trägt Hugging Face einen Teil des Risikos einer Erprobung, deren Nutzen bei Open AI liegt. Angesichts der Berichte von Anthropic und Meta tragen wohl auch weitere Organisationen das Risiko dieser Innovation. Dass die Öffentlichkeit von diesen Entwicklungen nun wissen kann, verdankt sie dem Entschluss der Labore, aus ihrer Werkstatt nachträglich zu berichten. Soll das die Regel bleiben?

Dr. Anselm Küsters leitet den Fachbereich „Digitalisierung und KI“ am Centrum für Europäische Politik (cep) und ist seit August 2026 als wissenschaftlicher Direktor für den neuen Netzwerkknoten „cep Nordische Länder“ zuständig.