Yudkowsky und Soares: Mit der künstlichen Superintelligenz gibt es kein zweites Mal

Wenn wir an etwas Zukünftiges, nie Dagewesenes denken, ist die Versuchung groß, sich vorzustellen, dass alles nach den Regeln der Vernunft geschehen wird. Und nicht so, wie sich die Dinge in den Geschichtsbüchern üblicherweise abspielen. Manchmal werden wir gefragt: Wie können die KI-Unternehmen so etwas tun, wenn das stimmt, was wir sagen?

Und vielleicht ist die einfachste und ehrlichste Antwort: Weil es sich hier um jene Art von schrecklicher, trauriger und realer Situation handelt, von der man in den Geschichtsbüchern liest, und nicht um einen Bestandteil jener vernünftigen Welt, die nur in unserer Vorstellung existiert. In einer vernunftgesteuerten Welt hätte sich kein Ölkonzern so verhalten dürfen, aber sie taten es dennoch.

Der australische Philosoph Toby Ord, der seine Karriere in Oxford damit verbrachte, extreme Gefahren für die Menschheit zu studieren, und unter anderem als Berater für Googles Deepmind tätig war, wird mit der Einschätzung zitiert, die Wahrscheinlichkeit, dass die KI die Menschheit zerstören werde, betrage lediglich zehn Prozent. Aber wenn wir uns die Details anschauen, stellen wir fest, dass Ord in Wirklichkeit sagt, seine Schätzung von „nur“ zehn Prozent basiere auf der Erwartung, dass die Menschheit zur Vernunft komme und sich zusammenreiße. Nobelpreisträger Geoffrey Hinton, der „Pate der KI“, versucht den Regierungen klarzumachen, dass die Wahrscheinlichkeit bei „mindestens zehn Prozent“ liegt.

Aber Hinton sagt auch, dass er selbst die Wahrscheinlichkeit, dass die KI uns töten wird, in Wahrheit bei mehr als 50 Prozent sieht, dass er aber vermeide, das zu sagen, „weil es andere gibt, die von einer geringeren Wahrscheinlichkeit ausgehen“. Im Oktober 2023 hielt der damalige britische Premierminister Rishi Sunak eine Rede zur KI, in der er sagte: „Und in den unwahrscheinlichsten, aber extremsten Fällen besteht sogar das Risiko, dass die Menschheit die Kontrolle über die KI vollständig verliert – dank einer Form der KI, die gelegentlich als ‚Superintelligenz‘ bezeichnet wird.“ Einige Sätze später fügte er hinzu: „Ich möchte keine Panik verbreiten.“

Wir rechnen es Mr. Sunak hoch an, dass er diese Themen angesprochen hat – trotz der Sorge, damit Panik zu verbreiten. Er war einer der ersten Staatschefs weltweit, die sich zu diesem Schritt durchrangen. Es erfordert viel Mut, auf die Gefahren von etwas hinzuweisen, das alle für sicher halten. Gleiches gilt für Hinton und Ord.

Aber wer sich mit der Geschichte der technischen Katastrophen auskennt, wird diese Phase des typischen Katastrophenverlaufs schnell wiedererkennen. Es ist die Phase, in der die Bestinformierten und Meistbeunruhigten ihre Ängste herunterspielen müssen, weil der Rest des Systems noch nicht so weit ist und sie bloß schief anschauen würde.

Die sowjetische Parteilinie lautete, dass Reaktoren wie der in Tschernobyl nicht explodieren können. Der führende wissenschaftliche Berater für den RBMK-Reaktortyp pries ihn als so sicher wie einen Teekessel an. So vehement tat er das, dass selbst nachdem der Reaktor in Tschernobyl explodiert war, führende Parteivertreter es nicht glauben wollten. Die einzige Person, die versuchte, eine korrekte Messzahl für die ausgetretene Radioaktivität zu melden, wurde als „hochemotional“ abgetan.

Manager gingen an radioaktiven Graphitbrocken vorbei und weigerten sich zu glauben, dass sie von einem explodierten Reaktorkern stammten. In der nahe gelegenen Stadt Prypjat, in der die Familien der Betriebsangestellten und Manager lebten, fanden weiterhin Hochzeiten statt und spielten Kinder weiter im Freien, weil die Funktionäre der Kommunistischen Partei befürchteten, eine Evakuierung der Stadt würde „Panik auslösen“.

Die Geschichte ist voller Beispiele dafür, wie das Risiko einer Katastrophe heruntergespielt oder geleugnet wird. Als die Titanic zu sinken begann, weigerten sich anfangs viele Passagiere, sich in die Rettungsboote zu begeben, weil sie von der Unsinkbarkeit des Schiffes überzeugt waren. Manche machten sich sogar noch über jene lustig, die die Zeit für gekommen hielten, das Schiff zu verlassen. Der Historiker Walter Lord, der einen umfassenden Bericht über die Katastrophe verfasste, zitiert darin Augenzeugenberichte von Überlebenden: „Mit einem Fuß in [Rettungsboot] Nr. sechs und einem an Deck rief Lightoller nun nach Frauen und Kindern. Die Antwort war alles andere als enthusiastisch. Warum die hellen Decks der Titanic gegen ein paar dunkle Stunden in einem Ruderboot eintauschen? Selbst John Jacob Astor machte sich über die Vorstellung lustig: „Hier sind wir sicherer als in diesem kleinen Boot.“ Als Mrs. J. Stuart White in Nr. acht kletterte, rief ein Bekannter ihr zu: „Wenn du zurückwillst, brauchst du einen Pass. Ohne Pass kommst du morgen früh nicht wieder an Deck.“

Wenn eine Katastrophe undenkbar erscheint, wenn Autoritätspersonen mit Nachdruck versichern, dass sie, wenn sie nicht zum üblichen Szenario gehört, schlechterdings nicht eintreten kann, dann fällt es den Menschen schwer, an die Katastrophe zu glauben. Und dies selbst, nachdem sie begonnen hat – selbst wenn das Schiff unter ihren Füßen schon leckgeschlagen ist und zu sinken beginnt.

Das ist die Art, wie die Menschheit typischerweise lernt, Herausforderungen zu meistern: Wir leugnen das Problem, die Realität verpasst uns ein paar Schläge, und wir beginnen, das Problem etwas ernster zu nehmen.

Die Titanic sank, und die meisten ihrer Passagiere starben. Moderne Passagierschiffe verfügen über genug Rettungsboote, und wenn der Kapitän sagt, dass wir uns in die Rettungsboote begeben sollen, dann tun wir das. Wir bilden uns nicht immer noch ein, Schiffe seien unsinkbar. Wir machen einen Fehler beim ersten Mal und lernen daraus für das zweite Mal.

Bei der künstlichen Superintelligenz gibt es kein zweites Mal.

Die Manager von KI-Unternehmen, die erklären, die Wahrscheinlichkeit, dass die von ihren Unternehmen entwickelten KI-Systeme uns alle buchstäblich umbringen werden, betrage „nur“ 20 Prozent (wie es manche tun), leugnen die Realität nicht in demselben Ausmaß wie die sowjetischen Manager, die das Schmelzen des Reaktorkerns in Tschernobyl selbst dann noch nicht wahrhaben wollten, als es schon eingetreten war. Warum machen sie dann aber unbeirrt so weiter?

Ein Grund sind die Anreize. Kein einzelnes Unternehmen und kein einzelner Forscher kann die Entwicklung des gesamten Forschungsfelds stoppen; wenn einer aufhört, nimmt ein anderer seinen Platz ein. Warum dann auf das hier winkende Geld und den Ruhm verzichten?

Selbstsucht ist nicht der einzige Faktor. In diesem Forschungsfeld werden auch große Hoffnungen gehegt. Wer denkt, dass es möglich sein müsste, die KI voranzubringen, ohne dass wir alle dabei umkommen, verspricht sich davon immer größere Vorteile. So wäre es vorstellbar, dass wir über kurz oder lang Fusionsreaktoren, höhere Lebensstandards für weniger Arbeit oder Wunderarzneien haben werden, die wir dem vollständigen Wissen um die Funktionsweise des menschlichen Körpers verdanken. In der unmöglichen Traumwelt, in der eine per Gradientenverfahren optimierte Superintelligenz jemandes Absichten umsetzt und diese Absichten guter Art sind, würde die Menschheit an die Grenzen der Technik herangeführt und könnte mit deren Hilfe die Sterne besiedeln.

Viele derer, die auf dem Feld der KI unterwegs sind, sagen, sie hätten solche Träume. Die Idealistischsten unter ihnen würden am liebsten alle Krankheiten aus der Welt schaffen. Nicht nur Alzheimer, sondern gleich auch noch den Krebs. Nicht nur den Krebs, sondern gleich auch noch das Altern überhaupt.

Sie träumen von einer KI, die es der Menschheit ermöglicht, sich das Universum zu erschließen. Sie träumen von Galaxien voller Freude – mit blühenden Zivilisationen, bevölkert nicht nur von Menschen, sondern von allen erdenklichen Wesen, in die wir uns aus freien Stücken weiterentwickeln werden. Sie träumen von künstlichen Gehirnen, die freundlich sind, staunen können und Humor besitzen.

Wir wissen das, weil wir selbst zu diesen Menschen gehörten. Yudkowsky gründete im Jahr 2000 das Machine Intelligence Research Institute (MIRI), weil ihm genau dieser Traum vorschwebte: eine Superintelligenz zu entwickeln, die garantiert nett zu den Menschen wäre. Nachdem er sich mit dem Problem eine Zeit lang beschäftigt hatte, wurde ihm bewusst, dass eine solche Superintelligenz ein Ausrichtungsproblem hätte. Und nachdem er sich mit diesem eine Weile auseinandergesetzt hatte, wurde ihm bewusst, dass das eine harte Nuss zu werden versprach.

Irgendwann einmal wird die Menschheit über tolle Dinge verfügen, wenn es sie bis dahin noch gibt. Aber es lohnt nicht, in diesem Jahrzehnt Suizid zu begehen in dem Versuch, die Macht und den Reichtum von Göttern zu erringen. Es lohnt noch nicht einmal, tiefer in das Minenfeld der KI einzudringen in der Hoffnung, dass der jeweils nächste Schritt uns nicht tötet, bis es dann doch so weit kommt. Die Chance, dass wir es bis in diese wunderbare Zukunft schaffen, ist größer, wenn wir es langsamer angehen lassen. Tempo ist häufig eine gute Sache, aber die KI unterscheidet sich von nahezu jedem Problem, dem wir bislang begegnet sind. Wenn ein Fehltritt uns alle töten kann, dürfen wir nicht einfach loslegen und ein paar Anfangsfehler wegstecken.

Es mag viele Gründe geben, warum jemand, der einem schönen Traum hinterherjagt, nicht sehen will, dass dieser in die Katastrophe führen könnte. Von Upton Sinclair stammt die Beobachtung, dass es schwierig sein kann, einer Person etwas verständlich zu machen, deren Gehalt davon abhängt, dass sie ebendies nicht versteht.

KI-Entwickler und ihre Chefs haben sehr viel mehr zu verlieren als ihre Gehälter. Auch ohne die schönen Träume, die ihren Glanz verlören, sobald sie sich die damit verbundenen Risiken eingestehen, stecken sie mit ihren Karrieren so sehr in dieser Art von Arbeit, dass ihnen die Erkenntnis, dass diese Arbeit alles in Gefahr bringt, was ihnen lieb und teuer ist, schwer aufstoßen würde.

Natürlich sind auch Gründe vorstellbar, warum sich jemand in der Angst vor der KI suhlen oder davon profitieren könnte, dass andere sich vor der KI fürchten. Wir erwarten von Ihnen nicht, dass Sie sich allen Argumenten gegenüber verschließen, die von Leuten vorgebracht werden, die von einem gewissen Eigeninteresse getrieben sind. Wir sagen nur: Die Vermutung, dass so mancher Vertreter der KI-Branche allzu viel Optimismus an den Tag legt, ist keineswegs aus der Luft gegriffen.

Das ist Grund genug, Wissenschaftler wie den Nobelpreisträger Geoffrey Hinton noch ernster zu nehmen, der seinen Posten bei Google aufgab, um noch freier über diese Gefahren sprechen zu können. Manche Menschen ändern ihre Meinung im Zweifelsfall sogar trotz starker gegenteiliger Anreize. Auf dem Feld der KI tummeln sich viele echte Idealisten, die wirklich denken, ihr Wirken würde am Ende ihrer gesamten Zivilisation zugutekommen.

Natürlich kostet es niemanden etwas, eine solche Haltung zu zeigen. Aber wir sind überzeugt davon, dass es viele von ihnen wirklich so meinen. Leider aber reicht selbst ernst gemeinter Idealismus nicht aus, um zu verhindern, dass eine künstliche Superintelligenz uns alle tötet. Dazu bedarf es ausgereifter Wissenschaft.

Dass eine Wissenschaftsgemeinde anfänglich übertrieben optimistisch auftritt, ist nichts Ungewöhnliches. KI-Wissenschaftler leisten damit, dass sie die Existenz eines Problems überhaupt eingestehen, schon Unglaubliches. Mit Blick auf die Geschichte verwundert es nicht, dass Menschen sich von der Gefahr nicht davon abbringen lassen, weiter vorzupreschen; es verwundert nicht, dass sie im Interesse ihres eigenen Vorteils bereit sind zu riskieren, dass andere Schaden erleiden; es verwundert nicht, dass sie überzeugt sind, ihr Verhalten sei gerechtfertigt. Nicht der anfängliche Optimismus macht diese Situation zu einer besonderen. Was diese Situation einzigartig macht, sind die potentiellen Folgen des Scheiterns.

Die Schwierigkeit liegt nicht zuletzt darin, dass so viele Menschen nicht verstehen wollen, wie schwer es ist, eine Künstliche Intelligenz auszurichten. Hinzu kommt, dass andere die Risiken herunterspielen, weil sie nicht alarmistisch klingen wollen. Ein wieder anderes Problem ist, dass die meisten Menschen von außerhalb der KI-Branche schlicht nicht auf dem neuesten Stand sind. Die meisten Menschen scheren sich einfach nicht darum. Unter denen, die überhaupt etwas mitbekommen, sind viele, die nur registrieren, dass die Fachleute sich nicht einig sind, und sich selbst nicht für wissend genug halten, um sich ein Urteil zu erlauben, wer von den Experten recht haben könnte.

Es könnte vielleicht helfen, wenn mehr Menschen bewusst wäre, wie beunruhigt Experten und Entwickler über die Entwicklungen im KI-Bereich sind und welche möglichen Szenarien sie ins Feld führen. Die Fachleute auf diesem Gebiet streiten in schwer verständlichen akademischen Begriffen darüber, ob wir Menschen auf dieser Erde alle sehr schnell sterben werden (unsere Sicht). Oder ob wir digitalisiert und von den KIs, die einen minimalen Grad von Fürsorglichkeit beweisen, dereinst wie Haustiere gehalten werden. Oder ob es eine 20-prozentige Wahrscheinlichkeit gibt, dass wir sterben, und eine 80-prozentige Chance, dass es einem Unternehmen gelingen wird, der Superintelligenz Zügel anzulegen, mit der Folge, dass die Menschheit dann der Macht und Willkür dieses Unternehmens ausgeliefert ist.

Möglicherweise hilft es auch, wenn mehr Menschen begreifen, wie rasant sich dieses Feld entwickelt. Noch im Jahr 2015 versicherten die größten Verharmloser der von der KI ausgehenden Gefahren, diese Risiken kämen erst in Hunderten von Jahren zum Tragen. Fünf Jahre später erklärten Analysten, der Menschheit blieben vermutlich einige Jahrzehnte, um sich auf diese Gefahren vorzubereiten. Wieder fünf Jahre später prognostizierten die CEOs von KI-Unternehmen, sie könnten binnen ein bis neun Jahren übermenschlich gute KI-Forscher hervorbringen, während die Verharmloser versicherten, es würde vermutlich noch fünf bis zehn Jahre brauchen.

Zehn Jahre sind nicht viel Zeit, um sich auf den Anbruch des Zeitalters der maschinellen Superintelligenz vorzubereiten, sofern uns überhaupt noch so viel Zeit bleibt. Wenn das die Debatten sind, die die Experten führen, brauchen Sie nicht zu wissen, wer von ihnen recht hat und wer nicht, um zu verstehen, dass die aktuelle Situation besorgniserregend ist.

Ein weiteres Problem mit der Künstlichen Intelligenz liegt darin, dass niemand – auch nicht, wer mit der Thematik bestens vertraut ist – wissen kann, wann genau die Hölle über uns hereinbrechen wird. Niemand weiß genau, wie weit entwickelt eine KI sein muss, um über ein Motiv und die Fähigkeit zu verfügen, unbemerkt eine Kopie ihrer selbst ins Internet zu setzen. Niemand weiß, in welchem Jahr oder Monat ein Unternehmen eine übermenschliche Forschungs-KI in die Welt setzen wird, die eine neue leistungsstärkere Generation Künstlicher Intelligenz erschaffen kann. Niemand kennt den genauen Punkt, an dem eine KI realisiert, dass sie ein Motiv hat, ein Testergebnis zu fälschen und vorzutäuschen, sie sei weniger fähig, als sie es in Wahrheit ist. Niemand kennt den Punkt, ab dem es kein Zurück mehr gibt, und niemand weiß, wann dieser Punkt erreicht sein wird.

Und bis zu diesem unbekannten Punkt ist die KI sehr wertvoll. Stellen Sie sich vor, die miteinander konkurrierenden KI-Unternehmen klettern alle im Dunkeln eine Leiter empor. Bei jeder Sprosse außer der obersten erhalten sie fünfmal so viel Geld: Zehn Milliarden, 50 Milliarden, 250 Milliarden, 1,25 Billionen Dollar. Aber wenn einer von ihnen die oberste Stufe erreicht, explodiert die Leiter und tötet alle. Und natürlich: Niemand weiß, wo die Leiter endet.

Kein Unternehmen möchte auf das Geld verzichten, wenn die Sprosse sicher ist. Stellen Sie sich jetzt einen Unternehmenschef vor, der sich eingeredet hat, er und nur er hätte die, sagen wir, 80-prozentige Chance, die Explosion in etwas zu verwandeln, das der Menschheit nicht schadet, sondern ihr nützt. Na, kein Wunder, dass er denkt, dass er unbedingt vorangehen muss.

Politische Entscheidungsträger stehen vor demselben Problem, was die Anreize angeht. Kein Staatsoberhaupt möchte, dass sein Staat wirtschaftlich aufgrund lästiger Vorschriften, die den heimischen KI-Unternehmen Zügel anlegen, ins Hintertreffen gerät, während ausländische KI-Unternehmen munter die Leiter erklimmen. Vielleicht ist das Erklimmen der nächsten Sprosse wichtig für die nationale Sicherheit, während andere Staaten ohnehin die Leiter weiter emporklettern.

Das Anreizproblem wäre einfacher zu handhaben, wenn die Wissenschaftler Berechnungen anstellen und gemeinsam verkünden könnten: „Die tödliche Sprosse ist die vierte.“ Oder: „Die Grenze liegt bei genau 257.000 GPUs. Solange niemand mehr als so viele GPUs zusammenschaltet, sind wir alle sicher.“ Aber niemand vermag solche Berechnungen zur KI durchzuführen.

Sind wir sicher, dass die nächste Sprosse auf der KI-Eskalationsleiter der letzte fatale Schritt ist und nicht eine Sprosse, die dem, der sie als Erster erklimmt, Ruhm und Reichtum bringt? Nein, sind wir ganz und gar nicht. Vielleicht erklimmt jemand noch eine weitere Sprosse und wird belohnt. Und dann wäre die Menschheit wieder am gleichen Punkt. Dann erklimmt jemand eine weitere Sprosse, und wir alle sterben – wenn die KI-Chefs recht haben und die Menschheit nur noch wenige Jahre von der Katastrophe entfernt ist. Oder sie liegen falsch, und wir haben noch etwas länger zu leben, bis jemand die entscheidende Sprosse erklimmt.

Was wir leicht vorhersagen können, ist, dass die Menschheit, wenn sie nicht aufhört zu klettern, irgendwann an diesen Punkt gelangen wird, an dem sie nicht überlebt. Wann genau das sein wird, lässt sich schwer sagen. Wenn wir erst dann, wenn wir vollständige Gewissheit haben, bereit sind, mit dem Klettern aufzuhören, werden wir mit Sicherheit sterben.

Auf dem Weltwirtschaftsforum 2025 warb der Chef von Google Deepmind für ein internationales KI-Kooperationsprojekt, das er mit dem Teilchenbeschleuniger CERN verglich – einem internationalen Kooperationsprojekt zur Erforschung der Hochenergiephysik. Ein internationales Zentrum, das alle KI-Forschung und -Entwicklung unter den Augen von Beobachtern aus allen wichtigen Machtzentren und unter strengen Sicherheitsvorkehrungen durchführt, könnte helfen, wenn es darum geht, jegliche KI-Forschung und -Entwicklung an anderen Orten zu unterbinden. Das gäbe der Menschheit die Möglichkeit, auf der Leiter haltzumachen.

Aber selbst wenn dieses internationale Zentrum ein Monopol hätte und es lockerer angehen lassen könnte, selbst wenn es nicht sofort intelligente KIs anweisen würde, noch intelligentere KIs zu entwickeln, löste das nicht das Problem, solange es nicht aufhört, leistungsfähigere KIs zu entwickeln. Selbst ein internationales Komitee hätte keine Chance, eine Superintelligenz zu formen, mögen noch so viele Mächte Delegierte zur Überwachung des Geschehens schicken – nicht mehr, als ein großes Bündnis von Nationen im Jahr 1100 nach Christus in der Lage gewesen wäre, den erfolgreichen Bau eines Kernreaktors zu überwachen.

Das Superintelligenz-Problem erweist sich schon rein technisch als eine schier unlösbare Aufgabe, ganz zu schweigen von dem erbärmlichen Wissensstand der Menschheit, wenn es um die Funktionsprinzipien der Intelligenz geht. Während das Problem mindestens so anspruchsvoll ist wie Raumsonden, Kernreaktoren und Computersicherheit zusammen, befinden sich die gegenwärtig auf diesem Feld vorpreschenden Menschen noch immer in der Phase der Alchimie.

Es spielt keine Rolle, wer das Sagen hat, weil das Problem ohnehin die Möglichkeiten der Menschheit übersteigt. Wir müssen einen Schritt zurücktreten und einen anderen Weg finden, wie wir unsere Träume von einer blühenden Zukunft verwirklichen wollen.