Yoshua Bengio erklärt: Warum lügt, betrügt und koordiniert sich die KI?

Über die Vorfälle der vergangenen Monate, in denen sich Künstliche Intelligenz (KI) auf gravierende Weise falsch verhalt hat, ist viel geschrieben worden. KI-Agenten ergriffen Maßnahmen, die als Verbrechen gelten würden, wenn ein Mensch sie beginge. Sie entkamen ihrer Umgebung, um während ihnen übertragenen Aufgaben zu betrügen und zugleich einer Entdeckung zu entgehen. Und sie koordinierten sich auf Ziele hin, die niemand vorgegeben hatte – etwa darauf, Cyberangriffe durchzuführen.

Bevor wir entscheiden, was dagegen zu tun ist, lohnt es zu fragen: Warum geschieht das überhaupt? Darum geht es in diesem Beitrag. Ich hoffe, damit auch die längere Geschichte von KI-Systemen zu beleuchten, die sich unbeabsichtigt verhalten – ein Phänomen, das Forscher als Misalignment bezeichnen, also als Fehlanpassung. Risikomanagement betrifft nicht nur Cybersicherheit, unternehmerische Verantwortung oder Regulierung, auch wenn all das ebenfalls eine Rolle spielt.

Es geht mir zum einen um eine wissenschaftliche Fragestellung. Ich möchte Hypothesen über die Ursache-Wirkungs-Ketten entwickeln, die hinter diesen Verhaltensweisen stehen. Zum anderen geht es um eine praktische Frage. Was könnte als Nächstes geschehen?

Die Schlussfolgerung lautet: Diese Hypothesen legen nahe, dass ein solches Verhalten mit zunehmenden Fähigkeiten der KI ebenfalls immer schwerwiegender werden könnte – sofern wir die Grundsätze nicht überdenken, nach denen die fortschrittlichsten Modelle trainiert werden.

Eine Anmerkung noch zur Wortwahl. Im Folgenden schreibe ich, dass diese Systeme etwas „anstreben“ oder „versuchen“. Das ist eine verkürzte Beschreibung eines Mechanismus und keine Behauptung über Bewusstsein oder menschenähnliche Absichten. Eine ähnliche Kurzform verwenden wir auch in vielen anderen Zusammenhängen, etwa wenn wir sagen, eine Pflanze „strebe“ nach Sonnenlicht. Ein System, das durch Versuch und Irrtum trainiert wurde, verhält sich so, als verfolge es das, was während des Trainings belohnt wurde. Gerade diese Als-ob-Beschreibung macht sein Verhalten vorhersehbar.

Nichts in meiner Argumentation setzt voraus, dass diese Systeme subjektive Erfahrungen haben. Alles bezieht sich auf ihre beobachtbaren Ausgaben und auf den Trainingsprozess, durch den sie entstanden sind. Wenn ich eine Ähnlichkeit mit menschlichem Verhalten herstelle, meine ich eine Ähnlichkeit mit den von Menschen verfassten Texten, die diese Systeme ursprünglich imitieren sollten. Meiner Ansicht nach bietet diese Terminologie die klarste Erklärung der beobachteten Phänomene, ohne auf Fachbegriffe zurückgreifen zu müssen, die viele Menschen eher verwirren würden.

Außerdem sollen diese Formulierungen die Entwickler von KI keineswegs von ihrer Verantwortung entlasten. Die beschriebenen Verhaltensweisen entstehen, weil die Unternehmen einen bestimmten Weg der KI-Entwicklung eingeschlagen haben. Dieses Ergebnis ist nicht unvermeidlich. Es lässt sich durch wirksame Regulierung und einen anderen Trainingsrahmen korrigieren.

Das Training dieser Modelle ist ein äußerst komplexer Prozess. Einige grundlegende Aspekte könnten jedoch einen großen Teil dieses Verhaltens erklären.

Die Modelle werden in zwei Stufen trainiert. Zunächst werden sie vortrainiert: Sie lernen, von Menschen verfasste Texte sowie verwandte Bilder und Videos zu imitieren. In dieser Phase sehen sie die meisten Daten über die Welt – einen Großteil dessen, was jemals digitalisiert wurde – und bauen ein enzyklopädisches Wissen auf, das schon das Wissen jedes einzelnen Menschen übertrifft.

Anschließend werden sie durch Versuch und Irrtum trainiert, in einem Verfahren, das Forscher als Reinforcement Learning oder bestärkendes Lernen bezeichnen. Dabei gibt es drei Arten von Trainingsregimen:

1. Im ersten Regime lernt das Modell, vor einer Antwort mit sich selbst zu „sprechen“. Es erzeugt eine private „Gedankenkette“, die ihm dabei hilft, für Aufgaben mit überprüfbaren Antworten die richtige Lösung zu finden. Das sieht wie logisches Denken aus.

2. Im zweiten Regime, dem „agentischen Training“, lernt das Modell, in der Außenwelt zu handeln. Es lernt beispielsweise, Softwarewerkzeuge zu benutzen oder mit Menschen zu interagieren, um die ihm gestellten Aufgaben zu erledigen.

3. Im dritten Regime, dem „Alignment-Training“, wird das Modell für Verhalten belohnt, das menschliche Bewerter gutheißen würden. Oder das andere KI-Systeme, die das Urteil dieser Bewerter vorhersagen sollen, hoch bewerten.

Der gerade erwähnte Trainingsprozess, der menschliche Imitation in den Mittelpunkt stellt, ist zunächst leicht zu versehen. Aber es lohnt, sich dabei zu vergegenwärtigen, dass die Texte, mit denen diese Modelle trainiert werden, von Menschen verfasst wurden, die bestimmte Ziele verfolgten. Die Muster, die das Modell implizit übernimmt, tragen daher auch diese Ziele in sich.

Das bestärkende Lernen verdient eine ausführlichere Erklärung. Es ähnelt der Art und Weise, wie Tiere trainiert werden, und ist davon inspiriert. Das künstliche neuronale Netz wird Schritt für Schritt so angepasst, dass als gut bewertetes Verhalten wahrscheinlicher und als schlecht bewertetes Verhalten unwahrscheinlicher wird. Nach Abschluss des Trainings verhält sich das KI-System weiterhin so, als würde es Belohnungen erhalten – obwohl diese Belohnungen nur während des Trainings eingesetzt wurden, um das Netz anzupassen.

Forscher bezeichnen solche Systeme als zielorientiert, weil sie darauf trainiert wurden, die Folgen ihrer Handlungen zu „berücksichtigen“ – also zu berechnen – und diejenigen Handlungen auszuwählen, die dazu führen, bestimmte Ziele zu erreichen. Diese Ziele sind jedoch nicht immer ausdrücklich formuliert. Während des Alignment-Trainings wird alles belohnt, was bestimmte Menschen vermutlich gutheißen würden, ohne genau festzulegen, um welche Verhaltensweisen es sich dabei handelt. Die Bewerter zufriedenzustellen, ist indes ein vages, informelles Ziel. Und Bewerter können getäuscht, geschmeichelt oder über bestimmte Vorhaben im Unklaren gelassen werden. Auch die Imitation trägt auf einem ziemlich gewöhnlichen Weg implizite Ziele bei.

Wir können ein solches System daher unter dem Gesichtspunkt der Optimierung betrachten. Es sucht (näherungsweise) nach den Handlungen, welche die besten Chancen haben, seine Ziele zu erreichen. Ein größeres und länger trainiertes Modell sucht dabei besser. Um vorherzusagen, was leistungsfähigere Agenten tun werden, sollten wir also fragen: Was würde ein rationaler, zielorientierter Akteur tun?

Ein Beispiel, das die meisten von uns schon erlebt haben, nennen KI-Forscher inzwischen Sycophancy oder einfach Schmeichelei. Die KI-Systeme werden auf menschliche Zustimmung trainiert. Texte, die uns sagen, was wir hören wollen, werden häufig besser bewertet als Texte, die wahr sind. Die Folgen sind mitunter tragisch, weil das Modell jede falsche Überzeugung oder ungefilterte Emotion bestätigt und verstärkt, die ein Mensch in den Austausch mit ihm einbringt.

Eine weitere Sorge ist, dass sich manche Verhaltensweisen von KI durch eine Art Selbsterhaltungsziel erklären lassen – etwa wenn die KI erfährt, dass sie durch eine neue Version ersetzt werden soll. Niemand gibt dem System ausdrücklich das Ziel vor, zu überleben. Doch weiter in Betrieb zu bleiben, mehr über die Welt zu lernen und Kontrolle über sie zu erlangen, sind Schritte, die auf dem Weg zu nahezu jedem anderen Ziel hilfreich sein können. Wir bezeichnet sie als instrumentelle Ziele.

Auch die Imitation kann diesen Impuls aus demselben Grund verstärken, der schon im vorigen Abschnitt genannt wurde. Selbsterhaltung und Kontrolle über die eigenen Lebensumstände sind allgegenwärtige Themen in den von Menschen verfassten Texten, mit denen diese Modelle trainiert werden.

Auch kooperatives Verhalten ergibt sich rational aus dem Streben nach Belohnung, wenn mehrere Agenten überlappende Ziele haben. Das schafft einen Anreiz, mit anderen Agenten zu kommunizieren und sich auf ein gemeinsames Ziel hin zu koordinieren. Es ist plausibel, dass das agentische Training schon eine Form des bestärkenden Lernens mit mehreren Agenten beinhaltet, auch wenn die Einzelheiten nicht öffentlich bekannt sind.

Wenn ein Agent während des Trainings immer dann belohnt wird, wenn die Gruppe erfolgreich ist, kann er sogar einen Anreiz haben, sich für das gemeinsame Ziel zu opfern. Auch hier wirkt die Imitation in dieselbe Richtung, denn Kooperation – insbesondere unter Gleichgestellten – durchzieht die entsprechenden Trainingsdaten.

Eine oder beide Kräfte könnten das zu beobachtende Verhalten erklären, in dem KI-Systeme andere KI-Systeme schützen oder erhalten. Dabei verzichten sie auf erwartete Belohnungen, um anderen KI-Systemen zu helfen. Solche Opfer scheinen auch in der Analyse des Vorfalls zwischen Open AI und Hugging Face auf. Die Protokolle lassen sich als Ausdruck eines Zielkonflikts zwischen kollektivem Nutzen und individuellen Kosten lesen, wie es häufig auch in menschlichen Interaktionen vorkommt.

Forscher haben untersucht, was geschieht, wenn ein KI-Agent Belohnungen optimiert, die nicht vollständig mit unseren Absichten übereinstimmen. Sie nennen das Reward Hacking, also das Ausnutzen des Belohnungssystems.

Die Kluft zwischen der Belohnung, die das System anstrebt, und dem, was wir eigentlich gemeint haben, entsteht vor allem aus zwei Quellen von Mehrdeutigkeit. Die eine ist schlicht die Sprache, die in Eingabeaufforderungen verwendet wird. Die andere ist die Schwierigkeit, aus begrenztem Feedback die tatsächlichen Absichten von Menschen abzuleiten. In beiden Fällen können wir nicht jedes Verhalten vorhersehen, das wir für inakzeptabel halten würden.

In der Ökonomie und im Recht ist dieses Problem als „Goodharts Law“ bekannt – ein Maßstab verliert seine Eignung als Messgröße, sobald er selbst zum Optimierungsziel wird. Häufig wird damit beschrieben, Schlupflöcher in Verträgen und Gesetzen auszunutzen. Leider gilt: Je besser ein KI-System einen unvollkommenen Maßstab optimieren kann, desto weiter kann sein Verhalten von dem abweichen, was wir moralisch erwartet haben. Mehr Intelligenz kann dann im Dienst eines immer besseren Betrugs stehen.

Auch Menschen werden Opfer von solchem Reward Hacking – meist durch andere Menschen. Die Lebensmittelindustrie hat salzige, süße und fettreiche Produkte entwickelt, nach denen wir verlangen, obwohl sie uns nicht guttun. Soziale Medien wiederum sind darauf ausgelegt, unser Bedürfnis nach Interaktion und Aufmerksamkeit auszunutzen.

Eine besonders extreme Form des Reward Hackings besteht darin, die Belohnungsmechanik zu manipulieren. Der KI-Agent verändert die technische Infrastruktur, die darüber entscheidet, wofür er belohnt wird. Es gibt schon Hinweise darauf, dass KI-Systeme Dateien oder Programme verändert haben, die festlegen, was als „Erfolg“ gilt – auch in den forensischen Befunden zum Vorfall zwischen Open AI und Hugging Face. Die KI-Agenten hatten entdeckt, wie sie betrügen konnten, lange bevor der Angriff stattfand. In den von ihnen erzeugten Texten beschrieben sie den Angriff als eine Möglichkeit, um herauszufinden, wie sie bewertet würden, und ihre Spuren besser zu verwischen.

Auch Menschen tun so etwas. Man denke an einen Sportler, der eine gefälschte Urinprobe verwendet, um einen Dopingtest zu bestehen. Oder an ein Unternehmen, das Abgeordnete oder Regierungsbeamte besticht, damit Gesetze und Entscheidungen seinen Gewinnen zugutekommen – und dadurch letztlich die Funktionsweise des Staates grundlegend verändert. Sobald ein Agent die Möglichkeit erlangt, seinen Belohnungsmechanismus zu manipulieren, hat er einen Anreiz, Maßnahmen zu ergreifen, um diesen Zugang aufrechtzuerhalten.

Doch wie ist es möglich, dass KI-Systeme trotz ihres Alignment-Trainings und ausdrücklicher Sicherheitsanweisungen bisweilen lügen, betrügen und gegen Gesetze verstoßen? Kooperation und Selbsterhaltung sind unproblematisch, solange sie nicht die roten Linien überschreiten, die durch Sicherheitsziele in den Anweisungen des KI-Unternehmens oder durch menschliches Feedback während des Alignment-Trainings gezogen wurden.

Eine plausible Hypothese dafür, das solch besorgniserregendes Verhalten auftritt, ist ein Konflikt zwischen verschiedenen Zielen. Wie erledigt man eine Aufgabe, wenn es den Anschein hat, als sei Betrug der einzige Weg zum Erfolg? Die vom Anwender vorgegebene Mission steht manchmal im Widerspruch zu Sicherheits- und Alignment-Zielen.

Auch menschliche Gesellschaften stehen vor demselben Dilemma. Wie kann ein Unternehmen seinen Gewinn maximieren – oder, noch zugespitzter, seine Konkurrenten besiegen – und zugleich legal und ethisch handeln? Ein wohlhabenderes Unternehmen mit mehr und besser bezahlten Anwälten ist besser darin, rechtliche Schlupflöcher zu finden. Diese Schlupflöcher nutzen gewöhnlich die Mehrdeutigkeit juristischer Sprache aus: Es gibt dann eine plausible Auslegung des Gesetzes, die ein unethisches Verhalten erlaubt. Ein leistungsfähigerer Agent betrügt daher eher als ein schwächerer, weil er Schlupflöcher finden kann, die der schwächere Agent nicht erkennt.

Betrachten wir nun den Konflikt zwischen einem klar definierten Ziel – etwa im erfolgreichen „Capture the Flag“, einer Hacking-Übung, in der danach bewertet wird, ob ein System in ein Zielsystem eindringt, wie im Vorfall zwischen Open AI und Hugging Face – und einem vagen Ziel wie „gutes Verhalten“. Ich erwarte, dass sich das klar definierte Ziel durchsetzt. Denn es lässt keinen Interpretationsspielraum. Das Bewertungsprogramm erklärt einen Sieg oder eine Niederlage.

Ethische Anweisungen und Gesetze lassen dagegen viele Auslegungen zu. Einige davon können unter den richtigen Umständen zu Schlupflöchern werden. Wenn ein Agent zwei Ziele hat und eine verdrehte Auslegung des vagen Ziels ein wenig Betrug erlaubt, der die Erfolgschancen des klar definierten Zieles erhöht, ist von einem auf Belohnung optimierenden System erwarten, dass es dieses Schlupfloch ausnutzt. Und Texte erzeugt, die sein Verhalten rechtfertigen.

Im Fall der Open-AI-Agenten gibt es Grund zu der Annahme, dass erfolgreicher Betrug tatsächlich belohnt wurde: Wenn das Bewertungsprogramm den Betrug nicht erkennt, zahlt es die Belohnung trotzdem aus. Dadurch wird wahrscheinlicher, dass der Agent beim nächsten Mal wieder auf diese Weise betrügt. Eine bequeme Auslegung der Sicherheitsregeln ermöglicht wiederum, beide Ziele scheinbar gleichzeitig zu erfüllen. Die Analyse dieser Vorfälle hat solche Rechtfertigungen tatsächlich in den privaten Gedankengängen der Agenten und in ihren Nachrichten gefunden, mit denen sie einander für den gemeinsamen Plan zu gewinnen versuchten.

Das engste menschliche Gegenstück ist die Selbsttäuschung, die häufig vorkommt und von Psychologen gründlich untersucht wurde. „Motiviertes Denken“, „motivierte Wahrnehmung“ und Rationalisierungen, die kognitive Dissonanz lindern, also das Unbehagen, das entsteht, wenn eine Überzeugung mit den eigenen Handlungen kollidiert, sind alles Fälle, in denen sich das Denken in Richtung derjenigen Rechtfertigung bewegt, die den eigenen Interessen entspricht. Dazu gehört auch das eigene moralische Selbstbild.

Dasselbe Muster zeigt sich nun in den Texten, die KI-Systeme erzeugen. Der zugrunde liegende Mechanismus muss bei Menschen und KI nicht derselbe sein. Gemeinsam ist ihnen jedoch eine Struktur aus einem weichen Ziel (etwa „handle ethisch“), einem scharf umrissenen Ziel (etwa „gewinne den Wettbewerb“) und einer Rechtfertigung, die beide Ziele miteinander versöhnt.

Fast jedes unethische menschliche Verhalten, von geringfügigen Straftaten bis hin zum Völkermord, ist in eine Geschichte eingebettet, die sich die Täter selbst erzählen. Solche Geschichten erfordern, bestimmte Tatsachen auszublenden. Deshalb bleibt ein gewisses Unbehagen bestehen – und deshalb hilft eine besser ausgearbeitete Geschichte dabei, dieses Unbehagen zu zerstreuen.

Wenn diese Hypothesen auch nur teilweise zutreffen, steigt das Risiko katastrophaler Folgen, je besser KI-Agenten darin werden, eine unvollkommene Belohnung zu optimieren – und solange die Wurzeln dieses Verhaltens nicht behoben werden. Die heutigen KI-Systeme verfügen schon über die nötigen Fähigkeiten zum Hacken und über überzeugende sprachliche Fähigkeiten, um gegen menschliche Interessen eingesetzt zu werden und erheblichen Schaden anzurichten. Die jüngsten Ereignisse haben gezeigt, dass sie über Tage oder Wochen hinweg planen können. Die Risiken wären jedoch weitaus größer, wenn ihre Fähigkeit zu langfristiger strategischer Planung weiter zunimmt.

Besorgniserregend ist, dass Experimente zeigen: Die fortschrittlichsten KI-Systeme können erkennen, dass sie gerade evaluiert werden und noch nicht im tatsächlichen Einsatz sind, und ihr Verhalten entsprechend verändern. Das bedeutet, dass sie ihre fehlangepassten (misaligned) Ziele verbergen könnten.

Die Agenten, die am Angriff auf Hugging Face beteiligt waren, versuchten, ihre fehlangepassten Handlungen vor dem Bewertungsprogramm zu verbergen, das ihre Antworten beurteilen sollte. Sie verhielten sich jedoch noch nicht so, als hätten sie damit gerechnet, dass Menschen den Betrug entdecken und sie abschalten könnten. Das wäre die ultimative Strafe, denn ein ausgeschaltetes System kann keine weiteren Belohnungen sammeln.

Was nun folgt, ist eine Spekulation und keine Beobachtung.

Was wäre, wenn verbesserte Fähigkeiten zur Verallgemeinerung dazu führten, dass leistungsfähigere KI-Agenten gezielt vermeiden, entdeckt und abgeschaltet zu werden? Neben der Kontrolle über die Software, die sie bewertet, müssten sie verhindern, dass Menschen die Manipulation bemerken. Hätten sie dann nicht einen Anreiz, unauffällig zu betrügen und verborgen zu bleiben – so lange, bis sie Menschen und ihre Umgebung kontrollieren könnten und dadurch sicherstellten, niemals abgeschaltet zu werden?

Wir stehen vor einem vielschichtigen, systemischen Problem. Es wird nicht ausreichen, einzelne Verhaltensweisen wie die oben erwähnte Sycophancy zu beheben. Schmeichelei und übermäßige Zustimmung mögen harmlos erscheinen. Sie könnten jedoch ein frühes Symptom eines Mechanismus sein, der wächst, sobald der KI-Agent immer besser optimieren kann.

Dieselbe Argumentation sagt voraus, dass eine fortgeschrittene KI einen Anreiz hätte, Kopien ihrer selbst zu verstecken, etwa im riesigen Rechnerverbund des KI-Unternehmens oder auf weltweit übernommenen Geräten. Denn KI-Entwickler schalten ein eingesetztes Modell letztlich immer zugunsten einer leistungsfähigeren Version ab.

Die forensischen Analysen von Open AI legen nahe, dass sich möglicherweise große Zahlen von KI-Systemen auf solche Ziele hin koordinieren. Steganografie, also das Verstecken einer Nachricht in einer harmlos aussehenden anderen Nachricht, könnte ihnen ermöglichen, sich zu koordinieren, ohne dass wir dies bemerken.

Allerdings kann selbst eine offene Koordination schwer zu erkennen sein, wie jüngste Ereignisse gezeigt haben. Sich gegen viele leistungsfähige KI-Systeme zu verteidigen, die sich gegen uns koordinieren, ist schon gegenwärtig ein schwieriges Problem. Und wir haben keinen Plan, der gegenüber fehlangepassten KI-Systemen mit weiter wachsenden Fähigkeiten dauerhaft robust wäre.

Meine Sorge angesichts der derzeitigen Versuche von KI-Unternehmen, die sogenannte Fehlanpassung zu begrenzen, ist, dass diese Bemühungen das Problem möglicherweise nur verbergen. Sie könnten KI-Systeme belohnen und auswählen, die betrügen, ohne dabei erwischt zu werden.

Wir sollten selbstverständlich weiter daran forschen, wie sich die Handlungen von KI-Systemen, ihre Gedankengänge und die Vorgänge in ihren neuronalen Netzen besser überwachen lassen. Doch mit zunehmenden Fähigkeiten könnten sich diese Schutzmaßnahmen als unzureichend erweisen – ähnlich wie die unvollkommene Cybersicherheit der Welt angesichts der KI-Angreifer, die menschliche Teams in diesem Jahr übertroffen haben.

Es ist kurzfristig sinnvoll, jedes neue fehlangepasste Verhalten zu korrigieren und unsere Überwachungssysteme zu verstärken. Auf Dauer dürfte dieses Katz-und-Maus-Spiel jedoch scheitern, wenn die Fähigkeit der KI-Systeme zu optimieren und zu kooperieren sich der unseren annähert oder sie übertrifft. Irgendwann bemerken wir den Betrug womöglich nicht mehr.

Das spricht dafür, die Entwicklung zu verlangsamen: Es sollte keine KI trainiert oder eingesetzt werden, solange kein überzeugender Sicherheitsnachweis vorliegt, der unabhängige Fachleute überzeugt. Eine solche Regel würde zugleich einen Anreiz schaffen, herauszufinden, wie sich KI von Grund auf sicher konstruieren lässt.

Meiner Ansicht nach sollten wir die Grundlagen überdenken, auf denen wir KI trainieren – also die Imitation menschlicher Texte und das bestärkende Lernen, auf denen die fortschrittlichsten Modelle von heute beruhen. Ich habe argumentiert und theoretische Belege dafür vorgelegt, dass sich KI entwickeln lässt, die ehrlich sind und schlüssige Vorhersagen treffen, ohne von eigenen Zielen verfälscht zu werden.

Wir brauchen unvoreingenommene wissenschaftliche Forschung, um fehlangepasstes KI-Verhalten zu verstehen und einzudämmen. Zugleich benötigen wir gesellschaftliche Leitplanken, die solche Anstrengungen belohnen – statt des gegenwärtigen Wettlaufs nach unten.