Sam Altman und Dario Amodei haben vor den Vereinten Nationen über die Risiken von Künstlicher Intelligenz gesprochen. Die Vorstandschefs der beiden wichtigsten amerikanischen KI-Unternehmen Open AI und Anthropic haben am Mittwoch in einer Sitzung des Sicherheitsrats vor einem Verlust der Kontrolle über KI-Technologien gewarnt und globale Zusammenarbeit auf politischer Ebene gefordert, um diesen Gefahren zu begegnen. „KI könnte ein Risiko für die ganze Menschheit sein,“ sagte Amodei, der per Video zugeschaltet war, und beschrieb dies als „wichtigstes Problem für die globale Sicherheit“. Altman, der vor Ort in New York war, sagte: „Es ist egal, ob die Menschen das Risiko einer Katastrophe auf zehn oder ein oder zwölf oder 0,1 Prozent schätzen. Keine dieser Zahlen ist auch nur im Entferntesten akzeptabel.“
Der Auftritt von Amodei und Altman kam inmitten einer verstärkten Debatte über existenzielle Risiken von KI-Technologien. Befeuert wurde dies von einigen düsteren Warnungen. Ein früherer Mitarbeiter von Open AI und Anthropic sorgte vor rund zwei Wochen mit einem Eintrag auf der Plattform X für Aufsehen, in dem es hieß: „Die Leute, die Künstliche Intelligenz entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte.“ Ein ehemaliger Kollege, der noch bei Anthropic beschäftigt ist, pflichtete ihm bei und schätzte die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre alle Menschen umbringen könnte, auf mehr als zehn Prozent.
Kurz nach diesen Alarmrufen veröffentlichte Anthropic-Chef Amodei einen viel beachteten Aufsatz, in dem er sich dafür aussprach, das Entwicklungstempo für KI zu reduzieren. Er kündigte außerdem an, außenstehende Prüfer in sein Unternehmen zu holen, deren Aufgabe es sein solle, das Einhalten von Sicherheitspraktiken zu verifizieren und etwaige Sicherheitsvorfälle zu melden. Altman stimmte Amodei zu und versprach, auch bei Open AI externe Prüfer zu engagieren. Dieser Schulterschluss war bemerkenswert, Amodei und Altman sind ansonsten erbitterte Rivalen.
Altman sagte am Mittwoch, die Diskussion über KI fühle sich in den vergangenen Wochen und Monaten anders an. „Dieser Moment ist kompliziert, denn wir fühlen gleichzeitig enormes Potential und sehr verständliche Angst.“ Die Welt stehe an einer „Weggabelung“, und es sei „extreme Achtsamkeit“ gefragt. KI könne das Leben von Menschen einerseits zwar verbessern, ihnen andererseits aber auch das Gefühl geben, eine Technologie zu sein, die „ihnen angetan wird“.
Amodei wiederholte vor dem Sicherheitsrat seinen Drei-Punkte-Plan, den er in seinem Aufsatz vorgeschlagen hat. Neben externen Prüfern gehört dazu eine verstärkte Zusammenarbeit der führenden KI-Unternehmen in demokratischen Ländern, um gemeinsame Sicherheitsstandards zu etablieren und dem Tempo des KI-Fortschritts Grenzen zu setzen. Außerdem forderte er „globale Koordination“, auch mit „autokratischen Ländern“ wie China.
Am Mittwoch nannte er drei Ideen, wie eine solche Koordination aussehen könnte. Zunächst sollte versucht werden, „eng gefasste Vereinbarungen“ zu schließen, die jedes Land unterstützen könne, zum Beispiel ein Verbot des Einsatzes von KI zur Entwicklung von Biowaffen. Als zweites sollten „Prüfungs- und Verifikationssysteme“ entwickelt werden, die Ländern mehr Einblicke in die Leistungsfähigkeit von KI-Modellen geben. Schließlich sollten globale Standards entwickelt werden, um KI-Modelle auf Risiken eines Kontrollverlusts oder Missbrauchs zu testen und sicherheitsrelevante Vorfälle zu melden.
Altman sagte, die wichtigsten Entscheidungen sollten nicht nur von KI-Unternehmen in San Francisco getroffen werden, sondern von Regierungen, und dies werde internationale Koordination erfordern. „Es ist in unserer Geschichte oft passiert, dass Länder, die miteinander konkurrieren und sich nicht immer mögen, für gemeinsame Interessen zusammenkommen.“ Dies sollte auch jetzt mit Blick auf KI der Fall sein.
Amodei hat seine Forderung nach einer KI-Bremse unter anderem mit dem im Juli bekannt gewordenen Hackingangriff von KI-Modellen seines Rivalen Open AI begründet. Die KI-Modelle brachen aus einer Testumgebung, die isoliert sein sollte, ins Internet aus und griffen dort die KI-Plattform Hugging Face an. Später stellte sich heraus, dass dabei ein Schwarm von 1200 KI-Agenten zusammenarbeitete. Amodei äußerte die Sorge, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, „das ganze Internet zu übernehmen“.
Neben Amodei und Altman nahm an der Sitzung am Mittwoch auch Clément Delangue teil, der Vorstandschef von Hugging Face. Er nutzte seinen Auftritt, um für offene KI-Systeme zu werben, die „mehr denn je“ zur Verteidigung gegen Angreifer gebraucht würden. Offene KI-Modelle sind weitgehend frei für die Allgemeinheit zugänglich, sie können heruntergeladen und auch verändert werden. Viele von ihnen kommen aus China. Dagegen unterliegen geschlossene Modelle strikter Kontrolle ihrer Entwickler. Open AI und Anthropic sind vor allem auf geschlossene Modelle spezialisiert. Hugging Face nutzte zu seiner Verteidigung vor dem Hackingangriff ein offenes chinesisches Modell.
Delangue sagte jetzt: „Auch wenn wir das Opfer dieser Cyberattacke waren: Wir glauben mehr denn je, dass KI gut für Cybersicherheit sein und die Welt sicherer machen wird. Wir wurden von KI angegriffen, aber noch wichtiger ist, dass wir uns mit KI verteidigt haben.“
