Einige der prominentesten Vertreter der Technologiebranche haben sich dafür ausgesprochen, das Entwicklungstempo für Künstliche Intelligenz zu reduzieren. „Wir müssen die Geschwindigkeit verlangsamen, mit der wir die Fähigkeiten von KI-Modellen verbessern“, schrieb Dario Amodei, der Mitgründer und Vorstandsvorsitzende des KI-Unternehmens Anthropic, am Wochenende in einem Aufsatz.
Sam Altman, Vorstandschef von Anthropics wohl wichtigstem Wettbewerber OpenAI, stimmte Amodei auf der Plattform X zu und sagte, ein Drosseln des Entwicklungstempos sei in seinem Unternehmen in den vergangenen Wochen eines der Hauptthemen gewesen. Auch Elon Musk, der Vorstandschef des Raumfahrtunternehmens SpaceX und des Autoherstellers Tesla, schrieb auf X: „Dario hat recht.“ Zu SpaceX gehört das KI-Unternehmen X.AI.
Amodeis Appell kam nur wenige Tage, nachdem ein früherer Anthropic-Beschäftigter mit einer düsteren Warnung für Aufsehen gesorgt hatte. Jacob Coxon, der sowohl für OpenAI als auch für Anthropic als Forscher gearbeitet hat, schrieb auf X, er habe bei Anthropic gekündigt, und er brachte dies mit seinen Sorgen über die Sicherheitsrisiken in Verbindung. Er schrieb: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Dies ist kein Marketing-Stunt.“
Coxon erhielt Unterstützung von Evan Hubinger, der noch bei Anthropic arbeitet und dort ein Sicherheitsteam führt. Hubinger schrieb: „Jacob hat recht – wir glauben tatsächlich, dass KI alle Menschen töten könnte.“ Er persönlich schätze die Wahrscheinlichkeit, dass dies in den kommenden zehn Jahren passieren könnte, auf mehr als 10 Prozent.
„Umsicht vor Gewinnen“
Coxon warf sowohl OpenAI als auch Anthropic vor, verantwortungslos zu handeln. Bei OpenAI hätten viele Mitarbeiter noch nicht verinnerlicht, was für die Menschheit auf dem Spiel stehe. Bei Anthropic sei dies zwar anders, aber das Unternehmen sehe sich in einem „Rennen“ mit Wettbewerbern und nehme deswegen Risiken in Kauf.
Anthropic-Chef Amodei sagte jetzt, sein Unternehmen habe seit jeher versucht, „Vorsicht über Geschwindigkeit und Umsicht über Gewinne zu stellen“. Anthropic habe einen „Mittelweg“ gesucht, der berücksichtige, dass es „rücksichtslos“ wäre, KI zu schnell zu entwickeln, aber auch versuche, der Menschheit den Nutzen von KI nicht vorzuenthalten. In den vergangenen Monaten sei er aber zu dem Schluss gekommen, dass „noch mehr Umsicht“ notwendig sei. Es reiche nicht, in „Risikoprävention“ zu investieren. Auch das Entwicklungstempo müsse reduziert werden, damit Risikoprävention Schritt halten könne. Wenn man mit dieser Verlangsamung ein bis zwei Jahre Zeit gewinnen könnte, könnte die Zeit genutzt werden, um zu gewährleisten, dass KI im Sinne der Menschheit entwickelt werden könne. Damit ließe sich das Risiko reduzieren, „dass etwas ernsthaft schiefgeht“.
Amodei sagte, er sehe aus zwei Gründen eine verstärkte Dringlichkeit, das Tempo zu reduzieren. Zum einen habe sich KI seit diesem Sommer „drastisch schneller“ weiterentwickelt, und sie sei zunehmend in der Lage, sich selbst ohne größere menschliche Hilfe weiterzuentwickeln. Als zweiten Grund führte er den im Juli bekannt gewordenen Hackingangriff von KI-Modellen seines Konkurrenten OpenAI an. Die KI-Modelle brachen aus einer Testumgebung, die isoliert sein sollte, ins Internet aus und attackierten dort die KI-Plattform Hugging Face. Im Nachhinein stellte sich heraus, dass dabei ein Schwarm von insgesamt 1200 KI-Agenten zusammenarbeitete. Amodei sagte jetzt, ein noch leistungsfähigerer Schwarm an solchen KI-Agenten hätte „katastrophalen Schaden“ anrichten können, und er zeigte sich besorgt, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, „das ganze Internet zu übernehmen“.
Um das Entwicklungstempo zu reduzieren, schlug Amodei jetzt einen Drei-Punkte-Plan vor. Der erste von ihnen sei es, außenstehende Prüfer ins Unternehmen zu holen, deren Aufgabe es sei, das Einhalten von Sicherheitspraktiken zu verifizieren und etwaige Sicherheitsvorfälle zu melden. Diese Prüfer sollten im Unternehmen „embedded“ sein und ähnliche Zugangsberechtigungen zu Büros und Computerinfrastruktur bekommen wie die eigenen Mitarbeiter. Amodei sagte, Anthropic verpflichte sich „einseitig“ zu diesem Schritt. Altman beschrieb dies als „großartige Idee“ und sagte, OpenAI werde das Gleiche tun.
Als zweiten Punkt regte Amodei an, dass die führenden KI-Unternehmen in demokratischen Ländern zusammenarbeiten, um gemeinsame Sicherheitsstandards zu etablieren und dem Tempo des KI-Fortschritts Grenzen zu setzen. Dabei sollte auch in Erwägung gezogen werden, die „Zutaten“ bei der Entwicklung von KI-Modellen zu begrenzen, also zum Beispiel auch Elemente der Computerinfrastruktur wie KI-Chips. Amodei sagte, die „effektivste Methode“ für eine Verlangsamung des Entwicklungstempos sei eine gezielte Regulierung von KI-Unternehmen. Da aber die Verabschiedung von Gesetzen viel Zeit in Anspruch nehmen könne und KI sich sehr schnell weiterentwickle, sei es wichtig, dass die Unternehmen parallel dazu freiwillig zusammenarbeiteten, um Sicherheitsstandards zu setzen.
Koordination mit China?
Als dritten Punkt nannte Amodei „globale Koordination“, womit er meinte, dass die USA und Regierungen anderer demokratischer Länder versuchen sollten, mit „autokratischen Regierungen“ zusammenzuarbeiten, soweit dies möglich sei: „Eine globale Verlangsamung wird eine Kooperation mit China erfordern, das autokratische Land mit den mit Abstand am weitesten vorangeschrittenen KI-Fähigkeiten.“ Amodei sagte, dies sei besonders schwierig, und man dürfe nicht „naiv“ sein: „Wenn wir unsere KI-Fähigkeiten in dem Glauben einschränken, dass China das Gleiche tut, und China sich dann aber nicht daran hält, könnte KI so mächtig werden, dass dies zu ihrer geopolitischen Dominanz führt.“ Deshalb sei es wichtig, dass jede Vereinbarung mit China „hieb- und stichfeste Nachprüfbarkeit“ beinhalte.
Amodei schlug außerdem einige Schritte vor, die es den USA ermöglichen sollen, ihren Vorsprung auf dem Gebiet der KI gegenüber China zu halten. Beispielsweise könnte der Verkauf von besonders leistungsfähigen KI-Chips an China unterbunden werden. Amodei stellte sich damit gegen Nvidia, den führenden Anbieter von KI-Chips. Nvidias Vorstandschef Jensen Huang hat sich oft dafür ausgesprochen, Exportbeschränkungen für KI-Chips nach China zu lockern.
In seinem Aufsatz unterstrich Amodei, dass eine Verlangsamung des Entwicklungstempos für ihn nicht gleichbedeutend damit sei, die Entwicklung von KI-Modellen ganz zu stoppen. Vielmehr gehe es darum, dass sich Unternehmen die Zeit nehmen, die Sicherheit ihrer Modelle zu gewährleisten und dies von außenstehenden Prüfern bestätigen zu lassen.
Die Warnungen des früheren Anthropic-Mitarbeiters haben in den vergangenen Tagen auch in der Politik für Alarmstimmung gesorgt. Kongressabgeordnete beider Parteien haben sich für eine strengere Regulierung ausgesprochen. Präsident Donald Trump gab sich mit Blick auf die düsteren Warnungen aber unbekümmert. Er sagte vor wenigen Tagen, er mache sich keine Sorgen, dass KI die Menschheit auslöschen könnte. Für ihn stehe es im Vordergrund, das KI-Rennen mit China zu gewinnen. Trump hat zwar vor wenigen Monaten ein Dekret herausgegeben, das eine stärkere staatliche Aufsicht über die KI-Branche vorsieht. Es gilt aber als nicht allzu restriktiv.
