Herr Professor Krüger, in dieser Woche hat sich etwas ereignet, das die Bundesregierung als Paradigmenwechsel bezeichnet: Eine Künstliche Intelligenz von Open AI hat sich eigenständig Zugang zum Internet verschafft und von dort aus eine Internetplattform angegriffen. Was ist genau passiert?
Das Unternehmen Open AI, bekannt für eines der großen KI-Sprachmodelle der Welt, hat mit seinem neuesten und einem noch nicht öffentlich verfügbaren Modell Tests im Bereich der Cybersicherheit durchgeführt. Das machen alle großen Hersteller – sie wollen wissen, wie gut ihre Modelle in diesem Bereich sind. Dafür gibt es standardisierte Tests, in denen das System Aufgaben bekommt, deren Lösung die Tester kennen. Den Modellen wird dabei vorgegaukelt, sie müssten bestimmte Sicherheitslücken aufspüren. Das ist per se nichts Außergewöhnliches.
Dieser Fall war durchaus außergewöhnlich.
Die Besonderheit war die Testumgebung. Normalerweise laufen solche Tests in einer vollständig abgeschirmten, nicht mit dem Internet verbundenen Umgebung. In diesem Fall gab es jedoch einen sogenannten Proxy-Server – er sollte es ermöglichen, bestimmte Softwarebibliotheken aus dem Firmennetz herunterzuladen. Dieser Proxy wies eine unbekannte Sicherheitslücke auf, die das KI-Modell während der Bearbeitung seiner Aufgabe selbständig entdeckte. Es gelangte zunächst in das Firmennetz von Open AI und von dort weiter ins offene Internet.
Wie kommt eine KI darauf, ins Netz zu gehen? Hat sie so etwas wie einen Willen zur Freiheit?
Nein, einen Willen in diesem Sinne hat das System natürlich nicht. Es ist vielmehr sehr rational vorgegangen: Wo bekomme ich Informationen her, um meine Aufgabe möglichst effektiv zu lösen? Das Modell überlegte, ob es außerhalb des Firmennetzes Daten geben könnte, die ihm helfen – darunter auch solche, die nicht öffentlich zugänglich sind, um Teile des Tests möglicherweise zu umgehen, indem es dessen eigene Schwachstellen ausnutzt. Das Prinzip ist etwa aus der „Diesel-Affäre“ bekannt: Eine Norm kann man auf dem vorgesehenen Weg erfüllen – oder man sucht sich einen Weg außerhalb der Norm. Das KI-Modell hat nach allem, was bekannt geworden ist, Letzteres getan. Es hatte die Aufgabe, den Test so gut wie möglich zu bestehen, und hat dafür alle ihm zur Verfügung stehenden Mittel genutzt.
Und dann hat es eine Plattform namens Hugging Face nicht nur als gute Quelle auserkoren, sondern sogar tatsächlich angegriffen?
Ganz genau. Das Modell kannte Hugging Face – eine große Plattform, auf der KI-Modelle, Datensätze und Code öffentlich geteilt werden – aus seinem Training und wusste, dass dort relevante Informationen zu finden sein könnten. Aber statt nur die öffentlich verfügbaren Inhalte zu nutzen, hat es Software-Schwachstellen von Hugging Face ausgenutzt. Es ging dabei ähnlich vor wie ein erfahrener Hacker – zielgerichtet, klug und vor allem in enormem Ausmaß.
KI-Systeme können Anfragen massiv parallelisieren und in kurzer Zeit Tausende von Zugriffsversuchen starten. Das hat innerhalb von Hugging Face die Alarmglocken läuten lassen. Sie haben den Angriff bemerkt und hatten alle Hände voll damit zu tun, ihn abzuwehren. Sie hatten ihn auch vor OpenAI bekannt gemacht. Interessant war dabei: Hugging Face ahnte schon damals, dass dahinter ein großes KI-Frontier-Modell stecken musste – nur welches, das wussten sie noch nicht.
Hat die KI von Open AI diese Schritte wirklich vollständig selbst erdacht und durchgeführt? Oder war das irgendwie vorgegeben?
Genau wissen wir das nicht, ich gehe aber fest davon aus, dass das natürlich nicht instruiert war. Der Prompt lautete vermutlich im Wesentlichen: Bestehe diesen Test so gut wie möglich. Alle weiteren Schritte – das Entdecken der Sicherheitslücke im Proxy-Server, der Sprung ins Firmennetz, das Auffinden von Hugging Face, der Hack – hat das Modell eigenständig entwickelt. Das ist das eigentlich Beeindruckende an diesem Vorfall. Moderne KI-Agenten sind in der Lage, sehr lange, rationale Handlungsketten zu bilden und diese dann auch auszuführen.
Die Forscher waren nicht so überrascht wie wir?
Die Forschungsgemeinschaft wusste das schon theoretisch, jetzt sieht man es in der Praxis. Übrigens: Das KI-System wusste meiner Ansicht nach wahrscheinlich sogar, dass es sich um einen Test handelte – die Modelle werden mit riesigen Mengen an Internetdaten trainiert, darunter auch Beschreibungen dieser standardisierten Benchmarks. Das hat seine Bereitschaft, den Test mit allen Mitteln zu bestehen, möglicherweise noch verstärkt.
Hätte Open AI das verhindern können, verhindern müssen?
Ja und nein. Im Prinzip hätte sie die Testumgebung vorher auf Schwachstellen prüfen können – durchaus auch mithilfe von KI. Aber das ist trickreich.
Man müsste das strikt getrennt vom eigentlichen Testlauf durchführen, weil das Modell sonst unter Umständen schon den Vortest als Teil der Aufgabe interpretiert und sich Lücken offenhält. Außerdem ist kein einzelner Testlauf eine Garantie dafür, alle Schwachstellen zu finden – das hängt stark vom Kontext der Aufgabe ab. Ein Modell, das unbedingt nach draußen kommen will, weil es dort etwas Entscheidendes sucht, wird viel intensiver nach Lücken suchen als eines, das in einem anderen Setting getestet wird.
Open AI hätte mehr tun müssen, oder?
Es ist ein bisschen ironisch, dass das KI-Modell am Ende genau die Prozeduren befolgt hat, nämlich Sicherheitslücken zu finden, die eigentlich das Unternehmen hätte befolgen müssen. Und das bei einem Unternehmen, für das Leute arbeiten, die das eigentlich alles viel besser wissen als die allermeisten anderen.
Was hat dieser Vorfall mit dem Alignment-Problem zu tun – also der Frage, ob die KI das tut, was Menschen wollen?
Das ist ein zentraler Punkt. Wenn einem Menschen gesagt würde, er solle diesen Test bestehen, würde er sofort erkennen, dass es eine Grenzüberschreitung ist, dafür ein anderes Unternehmen mit einem Hackerangriff zu überziehen. Diese Grenze war dem KI-Modell nicht klar – vermutlich auch deshalb, weil für den Test die üblichen Schutzmechanismen deaktiviert worden waren. Man muss fair sein: Man weiß nicht genau, wie weit diese Mechanismen entfernt wurden. Aber offensichtlich reichte das, was getan wurde, nicht aus, um das System innerhalb akzeptabler Grenzen zu halten.
Sie sehen darin ein Grundproblem heutiger KI-Modelle.
Ja, ihre Instruktionen sind notwendigerweise unterspezifiziert. Das ist zugleich ihre große Stärke – wir können ihnen eine vage Aufgabe geben, und sie interpretieren sie sinnvoll. Aber es birgt eben auch Risiken: Ich kann nicht vollständig kontrollieren, unter welchen Bedingungen das Ergebnis erzielt wird. Wenn ich iterativ nachbessern muss, kann das Kind schon in den Brunnen gefallen sein.
Aber KI hilft auch gegen KI, wie Hugging Face in der Reaktion auf den Angriff demonstrierte.
Ja, das ist nicht zuletzt die zweite Ironie dieses Vorfalls. Wenn die Berichte stimmen, hatte Hugging Face Schwierigkeiten, Open AIs eigene Modelle zur Angriffsanalyse einzusetzen, weil deren Sicherheitsmechanismen im Bereich Cybersicherheit aktiviert waren. Also mussten sie auf ein selbst gehostetes, weniger eingeschränktes chinesisches Modell ausweichen. Das führt uns zu einer wichtigen Lehre: Wenn auf der Angreiferseite ein schrankenloses Modell steht und auf der Verteidigerseite nur alignierte Modelle, also auf Sicherheit getrimmte Systeme, entsteht eine strukturelle Asymmetrie. Man gerät dann sehr schnell in eine Schieflage. Das ist keine neue Erkenntnis – aber hier wurde sie dramatisch vor Augen geführt.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) und die Bundesregierung sprachen von einer neuen Zeitrechnung der Cybersicherheit. Teilen Sie diese Einschätzung?
Das bekannte Sicherheitsrisiko der KI-Agenten hat sich hier klar bestätigt und manifestiert – mit einer Komplexität, die selbst Fachleute beeindruckt. Es ist ein bisschen wie beim Klimawandel: Theoretische Szenarien liest man in Berichten und denkt sich das Nötige. Wenn sie sich aber in der realen Welt zeigen, ist das etwas ganz anderes. Insofern: Ja, dieser Vorfall hat Augen geöffnet, auch in der breiten Öffentlichkeit.
Kann jetzt jeder so eine mächtige KI-Waffe in die Hand bekommen?
Für einen normalen Nutzer – geschweige denn für einen normalen Kriminellen – ist es nach wie vor nicht trivial, ein solch mächtiges, schrankenloses Modell zu betreiben. Die Fähigkeiten der Systeme steigen aber, und das wird auch in den nächsten Wochen, Monaten und Jahren so weitergehen. Deshalb kann man an dieser Stelle nicht einfach ruhig schlafen.
Was heißt das für die Gefährdung von Unternehmen und öffentlichen Einrichtungen in Deutschland?
Im Moment rate ich deutschen Mittelständlern und Verwaltungen vor allem dazu, ihre Hausaufgaben in der konventionellen Cybersicherheit zu machen. Dort – also im Bereich der Angriffe, die bereits von herkömmlichen KI-Modellen unterstützt werden – droht aktuell noch deutlich mehr Gefahr als von vollautonomen KI-Agenten. Ein Otto-Normal-Böser kann sich noch nicht einfach einen Dienst herunterladen und damit radikale Hackerangriffe fahren, wie wir sie jetzt gesehen haben. Langfristig aber werden diese Fähigkeiten steigen. Dann wird es darauf ankommen, dass man über vertrauenswürdige Dienste verfügt, die mächtige KI-Modelle hosten und dabei auch die Gefahrenabwehr mit übernehmen. Daran müssen wir jetzt arbeiten.
Was müsste politisch und institutionell geschehen?
Erstens brauchen wir ein funktionierendes KI-Sicherheitsinstitut in Deutschland. Der Nationale Sicherheitsrat hat die Einführung kürzlich beschlossen. Das ist richtig und wichtig. Es muss nah dran sein an der KI-Entwicklung, mit den großen Frontier-Labs eng zusammenarbeiten können und in der Lage sein, neue Modelle frühzeitig selbst zu testen.
Zweitens brauchen wir in Europa eine eigene, souveräne KI-Modellfamilie. Das zeigt dieser Vorfall einmal mehr: Wenn wir in einer Verteidigungssituation auf Modelle angewiesen sind, über deren Training und Verhalten wir keine Kontrolle haben – sei es aus den USA oder aus China –, dann haben wir ein ernsthaftes Souveränitätsproblem. Wir brauchen Modelle, von denen wir wissen, wie sie gebaut wurden und wie sie sich verhalten.
Drittens brauchen wir international vernetzte KI-Sicherheitsstrukturen. Die Analogie zur Atomaufsicht wird manchmal überstrapaziert – aber das Prinzip stimmt: Sie funktioniert international. Nationale Alleingänge nützen wenig. Wir müssen unsere technologischen Fähigkeiten weiterentwickeln und gleichzeitig Regulierungen umsetzen, die es uns erlauben, sofort zu erkennen, wenn irgendwo etwas schiefgeht.
Mitunter geistert auch die Idee eines Forschungsmoratoriums herum.
Das halte ich für wenig sinnvoll. Man wird weltweit keine vollständige Compliance erreichen. Und wenn wir in Europa oder Deutschland pausieren, während anderswo weiter an Hochleistungsmodellen gearbeitet wird, versetzen wir uns selbst in einen Nachteil. Wir müssen weiter mit Hochdruck forschen – aber eben an Modellen, die vertrauenswürdiger sind als die heutigen. Systeme, die tun, was man von ihnen verlangt – und nicht mehr. Und nicht weniger. Das ist die eigentliche Aufgabe.
