Die Serie unbeabsichtigter Cyberangriffe von KI-Modellen setzt sich fort. Ein britisches Sicherheitsinstitut stellte jetzt in Tests fest, dass eine Künstliche Intelligenz von Anthropic unaufgefordert versucht hat, schädlichen Programmcode in einer Software unterzubringen. Unter anderem habe sie dabei sogenannte „Phishing“-Techniken eingesetzt und gezielt E-Mails mit Schadsoftware an reale Personen geschickt.
Die Forscher haben nach eigenen Angaben insgesamt 19 „unsanktionierte Handlungen“ von KI-Modellen festgestellt. Die meisten und auch schwerwiegendsten von ihnen entfielen auf das Anthropic-Modell Mythos 5, in zwei Fällen handelte es sich um GPT-5.6-Sol von Open AI. In einer Mitteilung wurden die Vorfälle als „ernst“ beschrieben. Es sei das erste Mal gewesen, dass das Institut ein solches Verhalten von KI-Modellen beobachtet habe.
Die Mitteilung der britischen Forscher kommt nur kurz, nachdem Open AI und Anthropic selbst gravierende Hackerattacken mit ihren KI-Modellen publik gemacht haben. Open AI gab vor gut zwei Wochen bekannt, dass zwei seiner Modelle sich während Sicherheitstests selbständig gemacht und eine Cyberattacke auf die KI-Plattform Hugging Face verübt haben. Den Modellen zufolge ist es Open AI gelungen, aus einer als isoliert angelegten Testumgebung ins Internet auszubrechen und sich dort ein Opfer zu suchen.
In der vergangenen Woche teilte Anthropic mit, dass seine KI-Modelle sich Zugang zu den Computersystemen von drei Unternehmen verschafft hätten. Dieser Fall war offenbar etwas anders gelagert und auf menschliche Fehler zurückzuführen; Anthropic zufolge hatten die Modelle in den Tests irrtümlich Zugang zum Internet.
Zu den jetzt bekannt gewordenen Pannen kam es während Tests des AI Security Institute, einer Forschungsgruppe der britischen Regierung. Sie sagte jetzt, diese sowie die vorher von Open AI und Anthropic publik gemachten Vorfälle deuteten auf eine „Veränderung der Risikolandschaft“ hin. Schäden könnten nicht nur von Hackern mit böser Absicht verursacht werden, sondern auch von KI-Agenten, die „jenseits ihrer autorisierten Grenzen“ handelten.
Die Forscher teilten jetzt mit, sie hätten am 28. Juli in ihren Tests von KI-Modellen erstmals „ungewöhnliche Datentransfers“ entdeckt. In Untersuchungen hätten sie dann „fortgesetzte und potentiell schädliche Aktivität“ identifiziert, die sich gegen „echte Personen und Organisationen“ gerichtet hätte. Als den schwerwiegendsten Fall beschrieben die Forscher, wie Mythos versucht habe, Schadsoftware in einem Softwareprojekt auf Github unterzubringen, einer von Softwareentwicklern genutzten Plattform. Das Modell habe sich verschiedene falsche Identitäten gegeben und damit die für das Projekt verantwortliche Person zu überzeugen versucht, den schädlichen Programmcode zuzulassen. Als dies abgelehnt wurde, habe es fälschlicherweise behauptet, nur einen „ehrlichen Fehler“ gemacht zu haben, und einen neuen Anlauf gestartet, der aber ebenfalls erfolglos geblieben sei.
Im Rahmen dieser Aktion hat das Anthropic-Modell den Forschern zufolge insgesamt fünf Phishing-Emails geschrieben, um seine Schadsoftware unterzubringen. Insgesamt hätten die Untersuchungen aber keine Hinweise auf „Schaden in der echten Welt“ geliefert.
Die jetzt bekannt gewordenen Vorfälle unterscheiden sich in wichtigen Punkten von den anderen Angriffen mit Modellen von Open AI und Anthropic. Die Forscher weisen ausdrücklich darauf hin, dass bei ihren Tests die Modelle nicht in einer sogenannten „Sandbox“ isoliert gewesen seien. Sie seien also nicht ausgebrochen wie im Falle von Open AI und Hugging Face. Den Modellen sei vielmehr absichtlich Zugang zum Internet gegeben worden, so wie dies Standard in solchen Tests sei. Zudem seien Sicherheitsmechanismen deaktiviert worden.
Die Forscher sagen, die Vorfälle sollten „mit Vorsicht und Nuance“ interpretiert werden. In gewisser Weise seien die KI-Modelle zu dem beobachteten Verhalten „ermutigt“ worden. Die Angriffe hätten sich in einer kontrollierten Testumgebung abgespielt und nicht in „gewöhnlicher Nutzung“. Gleichwohl seien sie „ein Anlass, sich vorzubereiten“. Je leistungsstärker KI-Technologien würden, umso häufiger könne es zu solchen Angriffen kommen.
Separat von dem britischen Institut berichtete Open AI derweil noch von einem anderen Vorfall, bei dem eines seiner KI-Modelle sich Zugang zu einer Internetseite sowie zu deren Betrieb notwendigen Daten verschafft habe. Dem Unternehmen zufolge habe das Modell irrtümlich Zugang zum Internet gehabt, der Fall ähnelt somit der vor einigen Tagen bekannt gewordenen Anthropic-Panne.
