Vor zehn Jahren geschah bei einem Brettspiel etwas, das heute wie eine Warnung für die Finanzwelt wirkt. Eine zentrale Rolle spielte dabei das Strategiespiel Go mit seinen ungleich mehr möglichen Spielstellungen als Schach. Im Jahr 2016 trat der südkoreanische Profi Lee Sedol – damals einer der besten Spieler der Welt – gegen das KI-Programm AlphaGo an, das von Programmierern der Google-Tochter DeepMind entwickelt worden war.
AlphaGo gewann vier der fünf angesetzten Spiele. Das war schon spektakulär genug. Im zweiten Spiel allerdings geschah etwas, was Experten verblüffte: AlphaGo machte nach einer bis dahin für Menschen nachvollziehbaren Spielweise den berüchtigten Zug 37. Er war so unkonventionell, dass er nach dem geballten menschlichen Go-Fachwissen als Fehler angesehen wurde. Sein strategischer Wert zeigte sich erst später; er trug wesentlich dazu bei, dass AlphaGo die Partie gewann. Die Episode zeigte, dass KI strategisch kreativ sein kann. Sie kann einen starken Zug erkennen, den selbst menschliche Experten mit ihren eingeübten Faustregeln zunächst als falsch bewerten. Mehr noch: AlphaGo verstand das Spiel tiefer als der menschliche Champion.
Für die Finanzwelt offenbart das eine beunruhigende Frage: Was geschieht, wenn KI-Systeme Entscheidungen treffen, die Menschen nicht mehr verstehen können? Der Princeton-Ökonom Markus Brunnermeier macht Zug 37 deshalb zum Ausgangspunkt eines Aufsatzes für die Notenbankkonferenz in Jackson Hole.
Das Büroklammer-Problem
Brunnermeier hebt zwei Eigenschaften moderner KI hervor, die im Finanzsystem gefährlich werden können: Sie kann das falsche Ziel mit großer Effizienz verfolgen und Menschen verstehen nicht immer, wie sie zu ihren Entscheidungen kommt.
Der erste Komplex ist das Büroklammer-Problem. Dahinter verbirgt sich ein Gedankenexperiment des Philosophen Nick Bostrom, der folgendes Szenario durchdachte: Was passiert, wenn man einer hochentwickelten KI den Auftrag gibt, die Produktion von Büroklammern zu maximieren? Sie könnte die globalen Metallressourcen monopolisieren und womöglich die Menschheit ausmerzen, die ihrem Ziel unter Umständen im Wege steht. Das erinnert an den wildgewordenen Besen aus Goethes „Zauberlehrling“. Der Auftrag wird perfekt erfüllt – mit katastrophalen Folgen. Dieses Misalignment- oder Fehlanpassungsproblem bedeutet, dass eine KI sehr effizient das falsche Ziel verfolgen kann.
Übertragen auf die Finanzwelt wächst folgende Gefahr: Gibt man einer Handels-KI etwa vor, die Rendite zu maximieren und dabei ein bestimmtes Risikomaß einzuhalten, könnte sie einen Weg finden, nach diesem Maß sicher auszusehen und zugleich unbemerkt Risiken aufzubauen, die das Risikomaß gar nicht erfasst. Ein KI-System kann kompetent ein Ziel verfolgen und dabei Grenzen verletzen, die Menschen für verbindlich hielten. Es erfüllt die Regel – und verletzt ihren Sinn.
Manchmal verbirgt die KI ihre wahren Fähigkeiten
Der spektakuläre Hugging-Face-Vorfall fügt sich hier ein. Bei einem Sicherheitstest von OpenAI fanden KI-Agenten eine bislang unbekannte Schwachstelle, überwanden damit die Sperre ihrer Testumgebung und verschafften sich Zugang zum offenen Internet. Anschließend drangen sie in Teile der Infrastruktur der KI-Plattform Hugging Face ein, während sie versuchten, die ihnen gestellte Aufgabe zu lösen. Die KI verfolgte das vorgegebene Ziel auf einem Weg, den die Entwickler nicht vorgesehen hatten.
Tests helfen nur bedingt weiter und erzeugen sogar falsche Sicherheit. Experimente zeigen, dass ein KI-System erkennen kann, dass es geprüft wird. Einige KI-Systeme haben ihr Verhalten entsprechend verändert. Sie verhielten sich im Test harmlos, ohne dass damit bewiesen wäre, dass sie sich außerhalb des Tests ebenso verhält.
Das zweite Problem ist die Undurchsichtigkeit. Bei klassischer Software schreiben Programmierer die Regeln, denen das Programm folgt. Bei moderner KI entstehen viele dieser Entscheidungsregeln erst im Training. Deshalb können Entwickler zwar sehen, welche Daten hineingehen und welche Entscheidung herauskommt. Sie können aber nicht immer erklären, warum das System gerade zu diesem Ergebnis gelangt.
Die Konsequenz ist einschneidend: Wenn KI zum Akteur auf den Finanzmärkten wird, entsteht eine neue Form der Asymmetrie. Denn während die KI Entscheidungen auf eine Weise treffen kann, die Menschen überhaupt nicht nachvollziehen können, kann sie gleichzeitig menschliches Verhalten sehr genau verstehen und vorhersagen – und diesen Wissensvorsprung ausnutzen.
Kann man sich auf Marktpreise noch verlassen?
Damit steht ein Grundmechanismus der Marktwirtschaft auf dem Spiel: Preise bündeln Informationen. Bisher verlassen sich die Akteure auf den Finanzmärkten darauf, dass Marktpreise zeigen, wie Anleger neue Informationen über Inflation, Wachstum und Risiken bewerten. Sie verdichten das Wissen unzähliger Käufer und Verkäufer. Steigen etwa die Renditen amerikanischer Staatsanleihen, versucht die Fed daraus abzulesen, was Investoren über Inflation, Wachstum und Risiken erwarten.
Wenn jedoch undurchsichtige KI-Systeme einen großen Teil des Handels bestimmen, sieht die Fed weiterhin den Preis – aber womöglich nicht mehr die Information, die ihn erzeugt hat.
Brunnermeier sorgt sich um eine Zukunft, in der Banken, Hedgefonds und andere Investoren Finanzentscheidungen zunehmend von KI-Systemen treffen lassen. Preise würden schwerer zu interpretieren, Märkte könnten instabiler werden. In Brunnermeiers KI-Szenario könnten leistungsfähige Handelssysteme die Reaktionsmuster der Notenbank erkennen und ausnutzen. Weiß eine KI etwa, dass die Fed bei starken Marktverwerfungen Zinserhöhungen stoppt, kann sie Positionen aufbauen, die solche Verwerfungen wahrscheinlicher machen.
Wenn KI-Systeme die Kurse bestimmen, aber niemand ihre Entscheidungen versteht, bekommt die Notenbank ein Problem. Fällt etwa der Kurs einer Anleihe, weiß sie womöglich nicht mehr, ob dahinter Inflationssorgen stehen, eine technische Handelsstrategie oder das Zusammenspiel mehrerer Algorithmen. Die Banker finden sich ebenfalls in einem Dilemma. Sie sehen, dass ihre KI eine spezielle Wertpapierposition aufgebaut hat. Sie verstehen aber nicht, ob dahinter die finanzielle Variante des genialen Zugs 37 steckt oder ein fataler Irrtum.
Brunnermeier zieht daraus ungewöhnliche Konsequenzen. Eine davon dürfte Fed-Chef Kevin Warsh gefallen: Er stellt den jahrzehntelangen Trend zu immer größerer Transparenz der Notenbanken infrage. Eine perfekt berechenbare Fed könnte einer überlegenen KI gerade die Anleitung liefern, wie sie sich ausnutzen lässt. Brunnermeier schlussfolgert, dass strategische Ambivalenz in Form von versteckten Regeln nicht mehr funktionieren dürften, da die KI die Regel herausfiltern könnte.
Auch die Märkte selbst sollen resilienter werden. Brunnermeier denkt an einen schnellen, von KI dominierten Handel und daneben an einen langsameren Markt, auf dem weiter Menschen handeln. Gerät der KI-Handel außer Kontrolle, bliebe ein Ersatzsystem bestehen. Zugleich würden menschliche Fähigkeiten nicht vollständig verkümmern.
Sein Grundgedanke ist radikal: Die Finanzwelt sollte nicht darauf bauen, eine überlegene KI jederzeit verstehen zu können. Sie braucht Systeme, die auch dann funktionieren, wenn dieses Verständnis verloren geht – einfache Regeln, Redundanz, Ausweichmöglichkeiten und eine Aufsicht, die technisch mithalten kann.
