Bei der jüngst bekanntgewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus der abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Der Grund war lediglich, dass sie dort Antworten auf die ihr gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Modelle unter anderem Software-Schwachstellen aus — und sprachen sich zudem untereinander ab.
Für ihn sei besorgniserregend, dass ein KI-Schwarm mit größeren Fähigkeiten, aber derselben Einstellung hätte „katastrophalen Schaden“ anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin — und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.
Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt. Dafür war er aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA — etwa auch im Weißen Haus von Präsident Donald Trump — ist der Wettlauf mit China.
Anthropic entwickelte zuletzt ein KI-Modell mit dem Namen Mythos, das besonders gut darin ist, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen zu finden. Die Firma macht das volle Modell nur ausgewählten Behörden und Unternehmen zugänglich, damit sie ihre Computersysteme absichern können.
