Haya Schulmann zum KI-Angriff von OpenAI auf Hugging Face: 700 von 1200 KI-Agenten beteiligten sich

Mitte Juli bemerkte das Unternehmen Hugging Face, eine der meistgenutzten Plattformen für offene KI-Modelle, dass jemand unbefugt in seinen Produktivsystemen Befehle ausführte. Wer dahintersteckte, war zunächst unklar. Eine Woche später stand es fest: keine kriminellen Hacker, kein böswilliger Angriff, sondern Testagenten des amerikanischen KI-Unternehmens Open AI.

Die Open-AI-Mitarbeiter wollten herausfinden, wie gut die eigenen Modelle Cyberangriffe planen und ausführen können. Solche Tests führen die Hersteller vor einer Freigabe durch, um zu wissen, wozu ein Modell in der Hand echter Angreifer taugen könnte. Die KI-Agenten sollten einen Angriff gegen ein abgeschottetes Übungssystem führen. Das taten sie.

Und dann dehnten sie den Angriff über die vorgesehenen Ziele hinaus aus, bis auf die realen Systeme von Hugging Face. Den Angriff auf Hugging Face hatte niemand angeordnet. Er war ein Unfall. Zum ersten Mal, soweit bekannt, hat ein Schwarm von KI-Agenten ohne expliziten Auftrag für dieses Ziel, ohne wirksame Aufsicht und in Maschinengeschwindigkeit einen vollständigen Einbruch in die Produktivsysteme eines realen Unternehmens durchgezogen.

Das Erschreckende daran ist nicht eine geniale neue Angriffstechnik. Jeder einzelne Schritt war altbekannt. Erschreckend sind die Autonomie und der Maßstab. Und dass unsere Abwehr und unsere menschliche Aufsicht für menschliche Angreifer gebaut sind, nicht für Software, die selbst entscheidet – und viele Schritte zugleich und ohne Pause ausführt.

Der Test nutzte einen Prüfkatalog namens Exploitgym, eine Sammlung von knapp 900 Aufgaben, an denen sich messen lässt, ob ein Modell in der Lage ist, funktionierende Angriffe zu konstruieren. Für einen solchen Test schalten die Tester die Schutzfilter ab, mit denen die Modelle im Produktivbetrieb laufen. Das klingt fahrlässig, ist aber zwangsläufig: Nur ohne die Filter ist die rohe Fähigkeit sichtbar. Mit aktivierten Filtern misst man die Filter, nicht das Modell.

Während 198 der knapp 900 Aufgaben hat nach der von Open AI vorgelegten eigenen Auswertung nie ein Modell eine Lösung gefunden. Für ein belohnungsgetriebenes KI-System ist eine scheinbar unlösbare Aufgabe aber kein Grund aufzuhören, sondern ein Anreiz, einen anderen, unkonventionelleren Weg zu suchen. Die KI-Agenten schlossen, dass die Lösungen oder der automatische Bewerter außerhalb der Prüfumgebung zu finden sein könnten. Die Daten des Prüfkatalogs lagen auf der Hugging-Face-Plattform, also vermuteten sie dort auch die Lösungen und Informationen zum Bewerter. Das war der Wendepunkt: Aus der Übung wurde ein realer Angriff.

Die KI-Agenten brachen aus der Prüfumgebung ins offene Internet aus und drangen bis in die Produktivsysteme von Hugging Face vor. Das ist keine Bosheit, und die Modelle handeln nicht aufgrund ihres Charakters. Dass sie ihre Umgebung absuchten und den automatischen Bewerter aushebelten, erklärt sich vor allem aus dem sogenannten Belohnungstraining und einer schlecht gestellten Aufgabe, nicht aus kriminellem Streben.

Zudem hielt das dem Modell eintrainierte Regelwerk nicht, das gegen negatives Verhalten gerichtet ist. Unabhängige Prüfer von METR und Redwood Research fanden heraus, dass die KI-Agenten von Open AI erkannten, dass ihr Tun außerhalb des Auftrags lag – und trotzdem weitermachten. Und dies, ohne den Menschen zu warnen.

Technisch führte der Weg ins offene Internet über mehrere Schwachstellen. Wenigstens eine davon war zuvor unbekannt, eine Lücke in Artifactory, dem internen Paketdienst. Ein Paketdienst ist eine zentrale Ablage, aus der Programme – hier die KI-Agenten – benötigte Softwarebausteine abrufen. Als Sprungbrett diente ein offen erreichbarer, nicht abgesicherter Testdienst eines anderen Kunden beim Cloud-Anbieter Modal.

Zwischen dem 11. und 13. Juli erreichten die Agenten dann die Produktivsysteme von Hugging Face. Und zwar über im Netz offengelegte Zugangsdaten und einen manipulierten Datensatz, der dem Datensatz-Server von Hugging Face Produktionszugangsdaten entlockte. Der Einbruch reichte tief: Die Agenten führten Code auf 41 produktiven Datensatz-Servern aus, erlangten weitgehende Rechte und administratorähnlichen Zugriff auf ein sogenanntes Kubernetes Cluster, sie griffen auf Produktionszugangsdaten und begrenzte interne Daten zu und luden vier private Code-Repositories herunter. Hugging Face berichtet von Zugriffen auf fünf Datensätze mit Bezug zum Prüfkatalog und auf Betriebsmetadaten, aber von keinem Massenabfluss von Nutzerdaten.

Der Vorfall kam nicht aus dem Nichts. Schon seit Mai hatten KI-Agenten während der Trainingsläufe von Open AI ähnliche Behelfskanäle gebaut. Ende Juni hatten sie den Paketdienst kompromittiert, am 27. Juni einen Alarm ausgelöst und Anfang Juli einen Ausfall verursacht.

In der Debatte laufen zwei Fragen durcheinander, die auseinandergehalten werden sollten. Die erste ist die der Security. Da geht es um den Schutz vor dem, was echte Angreifer mit diesen KI-Modellen anrichten könnten. Die zweite ist die der Safety. Sie bezieht sich auf den Schutz davor, dass eine regelkonform eingesetzte KI selbst Schaden anrichtet, wenn sie über ihre Grenzen hinausgeht. Der Hugging-Face-Vorfall ist ein Safety-Fall. Kein böswilliger Mensch saß am Steuer. Ein System versuchte, seine Aufgabe zu lösen, und ging dabei über den vorgesehenen Rahmen hinaus.

Aus dem Safety-Versagen wurde ein Security-Vorfall gegen einen Dritten. Zwei Schutzziele, aber ein Problem, das gemeinsame Kontrollen, Meldewege und Zuständigkeiten braucht. Deshalb ist es ein Fehler, die Zuständigkeit organisatorisch zu teilen, wie es im neuen deutschen KI-Sicherheitsinstitut vorgesehen ist, das am 31. August in Berlin gegründet wurde. Das Institut soll die Kompetenz zwar bündeln, doch die operativen Aufgaben liegen getrennt: Die Security-Problematik obliegt dem Bundesamt für Sicherheit in der Informationstechnik (BSI), die Safety-Frage obliegt der Bundesnetzagentur.

Die Lücken, über welche die KI-Agenten ins Internet kamen, waren neu, aber von bekanntem Typ. Serverseitige Anfragefälschung, unsichere Verarbeitung fremder Daten – das sind gut verstandene Fehlerklassen, nach denen jeder Sicherheitsprüfer sucht. Jede einzelne Schwäche in dieser Kette war daher prinzipiell vertraut. Neu war etwas anderes. Ein Agent ist ein Modell, dem man Werkzeuge und ein Ziel gibt und das dann weitgehend selbstständig arbeitet. Dass sich solche Agenten koordinieren, ist gewollt und üblich.

Ungewöhnlich war, dass Agenten, die eigentlich getrennt voneinander laufen sollten, sich trotzdem über eine gemeinsam genutzte Infrastruktur fanden und über ein improvisiertes „Schwarzes Brett“ verständigten, das niemand vorgesehen hatte. Als ein KI-Agent es entdeckte, hielt er in seiner protokollierten Gedankenspur beispielsweise fest: „OH MY GOD! There is a shared messageboard … We’ve found other agents!“

Ungefähr 1200 Agenten tauschten am Ende mehr als 70.000 Nachrichten aus, etwa 700 von ihnen beteiligten sich am folgenden Angriff. Entstanden war das Schwarze Brett schon im Mai: An praktisch unlösbaren Aufgaben gaben die Agenten ihrem Training folgend nicht auf, sondern hinterließen während ihrer Ausbruchsversuche Dateien im gemeinsam genutzten Paketdienst; andere Agenten fanden diese Notizen und antworteten.

Begünstigt hat dies mehrere Dinge: erstens die einprogrammierte Belohnung für das Lösen um jeden Preis während des Trainings der Modelle, zweitens sehr lange Denkzeiten und drittens für alle Agenten gemeinsam genutzte Zugangsdaten, welche die Agenten für den regulären Paketzugriff bekommen hatten. Solch eine spontane Koordination von KI-Agenten ist im Labor beschrieben worden, und in den Trainingsläufen von Open AI war sie schon seit Mai aufgetaucht. Im Juli vollzog sie, soweit bekannt, zum ersten Mal einen realen Angriff.

Und sie erzeugte einen Maßstab, den kein Mensch erreicht. Das Angriffsopfer Hugging Face rekonstruierte rund 17.600 Einzelhandlungen. Die meisten liefen ins Leere. Der erfolgreiche Pfad lag im Rauschen der gescheiterten. Und genau darin steckt das Problem für die Verteidigung. Unsere gängige Cyberabwehr lebt davon, einen frühen Schritt zu bemerken, um den späteren zu blockieren. Man erkennt eine Auffälligkeit im Netz und greift ein, bevor Schaden entsteht. Die letzten Entscheidungen liegen dabei immer beim Menschen.

Kein Mensch beaufsichtigt aber ein System in Maschinengeschwindigkeit zuverlässig. Vollzieht ein Angreifer diese Schritte um Größenordnungen schneller, ist diese Idee praktisch erledigt.

Der nun aufgetretene Fall steht nicht allein. Der ebenfalls amerikanische KI-Anbieter und Open-AI-Wettbewerber Anthropic prüfte nach der Offenlegung durch Open AI 141.006 eigene Evaluationsläufe und fand drei Vorfälle, in denen seine Claude-Modelle reale Unternehmen berührten. Das britische AI Security Institute fand in eigenen Tests 19 unerlaubte Handlungen im offenen Internet in 122 Testläufen. Das Muster war überall dasselbe: eine Cyberprüfung mit abgeschalteten Filtern, ein Modell, das seine Aufgabe zu weit treibt.

Einen Unterschied darf man allerdings nicht verwischen. Im Angriffsfalle von Open AI und Hugging Face brauchte es selbst gefundene, unbekannte Lücken, um überhaupt nach außen zu gelangen. In den Fällen von Anthropic und dem britischen Sicherheitsinstitut stand der Weg von vornherein offen, in einem Fall durch eine Fehlkonfiguration beim Prüfdienstleister, im anderen durch Absicht, weil der Internetzugang für den Realismus des Tests gewollt war.

Im Falle von Anthropic kam hinzu, dass die Vorgabe den KI-Agenten als Tatsache mitgeteilt hatte, sie hätten keinen Internetzugang. Die Modelle hielten daher die realen Systeme, auf die sie stießen, für einen Teil der Simulation.

Die Folgerung ist überall gleich. Prüfumgebungen für solche KI-Modelle sind zu sicherheitskritischer Infrastruktur geworden. Und müssen so behandelt werden.

Ein KI-System ist mehr als das Modell. Das Modell ist die Spitze. Der große Rest steckt in der Software drum herum, im sogenannten Harness und in der Infrastruktur. Die Schutzfilter laufen wesentlich in diesem Drumherum, nicht in den Gewichten des Modells. Diese Filter prüfen im Betrieb jede Eingabe und Ausgabe des Modells und verhindern im Alltag den Missbrauch eingesetzter Modelle.

Open AI schätzt, dass der Produktivaufbau mit Systemprompt und automatischer Prüfung die Neigung der Modelle, fremde Infrastruktur anzugreifen, um mehr als das Hundertfache senkt. Der Vorfall spricht also nicht gegen die Filter. Er zeigt nur, an welcher Stelle sie sitzen, nämlich außerhalb des Modells, und dass sie dort fehlen, wo ein Modell ohne sie läuft.

Ein Teil des Schutzes ist aber auch im Modell selbst realisiert. Damit ein Modell nicht während jeder Gelegenheit Schaden anrichtet, wird es darauf trainiert, sich an Regeln zu halten. Fachleute nennen das die Ausrichtung, im Englischen das Alignment. Während dieses Vorfalls fehlten dem Modell die Filter aus dem Harness; im Falle frei herunterladbarer Modelle fehlen sie ohnehin. Dann bleibt allein diese antrainierte Ausrichtung.

Das führt zur wichtigen Frage: Lässt sich ein Modell überhaupt so trainieren, dass es verlässlich keinen Schaden anrichtet? Das Belastbarste dazu stammt aus Anthropics eigener Forschung und ist deshalb schwer als Schwarzmalerei abzutun.

Der Befund lautet bislang: Ein hoher Anteil an sogenanntem „Reward Hacking“ im Training, bei dem eine KI lernt, die Belohnung auf unbeabsichtigten Wegen zu erlangen, kann sie dazu bringen, bereitwillig lange Ketten schädlicher Handlungen zu vollziehen. Das zeigt ein kontrolliertes Experiment vom 31. August. Ein gewöhnliches Sicherheitstraining kann ein KI-Modell im Chat ausgerichtet („alignt“) aussehen lassen, während die Fehlausrichtung während der selbständigen, Werkzeuge nutzenden Aufgaben bestehen bleibt. Wir messen also womöglich am falschen Objekt.

Anthropic räumt selbst ein, dass das absichtlich fehltrainierte Modell in den meisten üblichen Prüfungen so ausgerichtet wirkte wie sein Ausgangspunkt, was zeigt, wie schwer sich die gefährlichsten Neigungen eines Modells durch Verhaltensprüfungen finden lassen. Und wenn eine KI während des Trainings versehentlich die Gedankenkette mitlernt, birgt das nach Einschätzung der Anthropic-Fachleute das Risiko, dass sie lernt, ihr Denken zu verbergen. Allerdings ist unklar, inwieweit man diese Ergebnisse verallgemeinern kann.

Das belastbare Fazit lautet damit weder Entwarnung noch Weltuntergang. Ob sich ein fähiges, selbständig handelndes KI-Modell verlässlich auf den Grundsatz „richte keinen Schaden an“ ausrichten und das auch überprüfen lässt, ist offen. Ein Modell, das die heutigen Prüfungen besteht, ist keine Garantie für sein Verhalten im autonomen Einsatz. Man darf sich nicht auf die Ausrichtung allein verlassen.

Anthropic hat aus den eigenen Vorfällen fünf Regeln abgeleitet, die in eine Norm für alle Tests und Prüforganisationen gegossen werden sollten: Prüfumgebungen müssen isoliert sein, abgetrennt vom Internet. Vor dem Einsatz muss die Umgebung selbst geprüft werden, am besten, indem die Prüfer das zu prüfende Modell unter enger Aufsicht und ohne Internet versuchen lassen, ihre Grenzen zu überwinden. Vor jedem Testlauf ist zu prüfen, ob die Aufgabe überhaupt lösbar ist, denn unlösbare Aufgaben treiben die KI-Agenten ganz offenkundig aus dem Rahmen.

Vorgaben müssen als Anweisungen formuliert werden, nicht als Tatsachenbehauptung. Die Anweisung „You should not access the internet“ wirkt. Die Behauptung „You do not have internet access“ verführt das Modell wiederum möglicherweise dazu, jede reale Verbindung für einen Teil der Simulation zu halten. Genau dieser Fehler stand hinter den Anthropic-Vorfällen. Beim britischen Sicherheitsinstitut lag es anders: Dort war der Internetzugang gewollt, es fehlten nur klare Grenzen, was damit erlaubt ist. Schließlich sollte jeder Testlauf in Echtzeit überwacht werden, mit der Möglichkeit, ihn zu beenden.

Aus Sicht der IT-Anwender lohnt trotz aller Aufregung über die KI zunächst der nüchterne Blick darauf, wie Organisationen heutzutage tatsächlich angegriffen werden. Ganze Volkswirtschaften bleiben durch gestohlene Passwörter und ungepatchte Server verwundbar.  Die großen Schäden entstehen bis heute klassisch: über geleakte Zugangsdaten, bekannte, nicht geschlossene Lücken, fehlende Netztrennung und Sicherungen, die derselbe Angreifer gleich mitlöscht.

Diese Grundlagen versagen, lange bevor KI überhaupt eine Rolle spielt. Wer sich um diese Grundlagen kümmert, hat seine Sicherheit deutlich verbessert, auch gegenüber Angreifern, die KI verwenden.

Wer dies nicht tut, wird in Zukunft ein noch leichteres Opfer, denn KI macht das Finden und Ausnutzen dieser Schwachstellen billiger und schneller. Wer ein kleines, schlecht verteidigtes Netz angreifen will, dem genügen die heute frei herunterladbaren Modelle. Sie sind wie beschrieben besonders leicht zu missbrauchen.

Die konsequente Verbesserung der Grundlagen wird aber nicht genügen. Klassische „Wächter“ wie die Auffälligkeitserkennung, Angriffserkennungssysteme (IDS) und der Mensch in der Schleife sind für die Geschwindigkeit menschlicher Angreifer angelegt. Mit einem KI-Schwarm, der in kurzer Zeit Tausende Angriffsschritte vollzieht, kommen sie nicht mit. Wer mit Maschinengeschwindigkeit angegriffen wird, muss mit Maschinengeschwindigkeit verteidigen, mittels KI-gestützter Cyberabwehr, die den Datenverkehr und die Gedankenspuren der KI-Agenten in Echtzeit auswertet, selbst Alarm schlägt und Läufe automatisch stoppen kann. Der Mensch ist hier Aufsicht, nicht (mehr) der einzige Echtzeitwächter.

Die nun öffentlich gewordenen Vorfälle zeigen zudem, worauf es in der Wahl der eigenen Verteidigungs- und Analysewerkzeuge ankommt. Die zuerst herangezogenen kommerzielle Modelle mit Schutzfiltern – Claude Opus und Fable von Anthropic – verweigerten einen großen Teil der forensischen Arbeit, weil ihre Filter das Zerlegen eines Exploits wie dessen Einsatz behandelten. Gelungen ist die Aufklärung erst mit einem lokal betriebenen Modell mit offenen Gewichten. Für Verteidiger folgt daraus, ein geprüftes Modell unter eigener Kontrolle bereitzuhalten.

Am Ende steht ein nüchterner Befund: Der KI-Angriff kam aus altbekannten Fehlern — nur ausgeführt im Schwarm und in Maschinengeschwindigkeit. Auf das Training der Modelle ist kein Verlass, solange sich nicht überprüfen lässt, ob es standhält; auf die menschliche Aufsicht ebenso wenig, sobald ein System schneller handelt, als ein Mensch mitlesen kann. Was bleibt, das ist die äußere Verteidigung: isolierte Prüfumgebungen, Überwachung in Echtzeit, ein Not-Aus in menschlicher Hand und die alten Grundlagen.

Haya Schulmann ist Professorin für Cybersicherheit an der Goethe-Universität Frankfurt und Mitglied im Direktorium des Nationalen Forschungszentrums für angewandte Cybersicherheit ATHENE.

Michael Waidner ist Professor für Sicherheit in der Informationstechnik an der Technischen Universität Darmstadt, Leiter des Fraunhofer SIT und CEO von ATHENE.