Wofür darf die Regierung Künstliche Intelligenz einsetzen? Das ist in jüngster Zeit in den USA zu einer brisanten Frage geworden. Der KI-Spezialist Anthropic hat sich mit der Regierung einen öffentlichkeitswirksamen Streit geliefert. Er bestand darauf, dass sein KI-Modell Claude nicht zur Massenüberwachung von Amerikanern oder zur Entwicklung vollständig autonomer Waffensysteme genutzt werden darf.
Die Regierung beharrte aber auf eine Freigabe für „alle rechtmäßigen Zwecke“. Sie setzte das Unternehmen auf eine schwarze Liste und erklärte es zum Risiko für die nationale Sicherheit. Anthropic hat die Regierung daraufhin verklagt. Inmitten dieses Streits hat das Verteidigungsministerium Vereinbarungen mit anderen Unternehmen wie Open AI und Google geschlossen, die ihm erlauben, deren KI-Modelle für geheimhaltungsbedürftige Zwecke einzusetzen.
Im Fall von Google hat dies für erhebliche Unruhe in der Belegschaft gesorgt. Mehrere Hundert Google-Mitarbeiter schrieben einen offenen Brief an den Vorstandschef Sundar Pichai und appellierten an ihn, sich nicht auf ein solches Abkommen mit dem Pentagon einzulassen. Einer von ihnen war Andreas Kirsch, ein 38 Jahre alter Deutscher, der für Googles KI-Labor Google Deepmind in London arbeitet. Er ist dort als Senior Research Scientist mit Forschung am KI-Modell Gemini beschäftigt.
Ist Google „kurzsichtig und gierig“?
Kirsch wurde in Rumänien geboren und kam im Alter von vier Jahren nach Deutschland, wo er dann in der Nähe von Nürnberg lebte. Nach einem Studium der Informatik und Mathematik an der Technischen Universität in München ging er zu Google, zunächst als Softwareentwickler. Er blieb dort rund vier Jahre, machte dann seinen Doktortitel, und 2024 kehrte er zu Google zurück.
Nachdem die Vereinbarung zwischen Google und dem Pentagon bekannt wurde, äußerte Kirsch öffentlich Kritik auf der Plattform X. Er schrieb, er sei „sprachlos“ und schäme sich, für das Unternehmen zu arbeiten. Das Abkommen lasse Google „kurzsichtig und gierig“ erscheinen. Mit der F.A.Z. hat Kirsch in persönlicher Kapazität und nicht im Namen von Google oder Google Deepmind gesprochen.
Google äußerte sich auf Anfrage nicht zu den Protesten in der Belegschaft. Das Unternehmen sagte in einer Stellungnahme, es arbeite mit der Regierung zu Konditionen, wie sie „Standard“ in der Industrie seien, und beschrieb dies als „verantwortungsvollen Ansatz, um die nationale Sicherheit zu unterstützen“.
Ich habe mich auch schon sehr kritisch geäußert, als Open AI vor zwei Monaten einen Vertrag mit dem Pentagon geschlossen hat. Damals habe ich gesagt, wenn Google das machen würde, würde ich das auch intern ansprechen. Ich habe den offenen Brief an die Unternehmensführung mit unterschrieben. Als ich dann aus Medienberichten erfahren habe, dass der Vertrag mit Google kurze Zeit später unterzeichnet wurde, habe ich mich öffentlich geäußert. Meine Integrität ist mir wichtig.
Und warum haben Sie derart drastische Worte gewählt? Sie machen sich ja anfällig für den Vorwurf, ein Nestbeschmutzer zu sein.
Es stört mich, wie Google die Sache in der Öffentlichkeit darstellt. Und erst recht nach all der Kritik an Open AI. Es wird so getan, als sei der Vertrag so formuliert, dass er eine Nutzung von KI-Modellen für autonome Waffensysteme ohne angemessene menschliche Aufsicht und inländische Massenüberwachung wirksam ausschließt. Das ist unehrlich. Der Vertrag sagt, KI sei nicht dafür gedacht und „sollte nicht“ dafür eingesetzt werden. Nicht „darf nicht“. Gleichzeitig erlaubt er Berichten zufolge „jeden rechtmäßigen Regierungszweck“. Juristisch funktionieren diese „Schutzvorkehrungen“ wohl nur als PR. Dies unterläuft einen ehrlichen Diskurs, der gerade jetzt unglaublich wichtig wäre. Open AI hat genauso argumentiert, und die Schlupflöcher in deren Verträgen sind ausführlich analysiert worden. Deswegen verstehe ich nicht, warum Google eine Vereinbarung unterschreibt, die noch weiter geht als die von Open AI. Google hat laut den Berichten auch kein Vetorecht und erlaubt dem Pentagon, Anpassungen an den Sicherheitsfiltern zu verlangen.
Sie nehmen es Google also nicht ab, dass die Vereinbarung mit dem Pentagon wasserdichte Schutzvorkehrungen beinhaltet?
Nein. Und viele meiner Kollegen tun es auch nicht. Sie sind enttäuscht, genauso wie ich. Das hat man an den Reaktionen und in Gesprächen klar gemerkt. Wir hatten gehofft, dass unser offener Brief die Unternehmensführung dazu bringt, sich das noch einmal genauer zu überlegen. Stattdessen haben wir einen Tag später erfahren, dass der Vertrag mit dem Pentagon unterschrieben ist. Das war schon etwas überraschend, und ich wollte es wirklich erst nicht glauben. Und unternehmensintern wurde nichts dazu kommuniziert.
Hatten Sie keine Angst, entlassen zu werden?
Ich mag meine Arbeit, und ich mag auch die Stabilität und das Gehalt, die damit verbunden sind. Aber manchmal muss man seine Stimme erheben, auch wenn es unbequem ist. Für mich ist es vielleicht auch leichter, weil ich noch keine Familie habe. Ich habe es einfach für notwendig gehalten, meine Meinung öffentlich zu sagen.
Wollen Sie denn selbst bei Google bleiben?
Ich würde gerne weiter meine Forschung verfolgen, aber ich bin zwiegespalten. Im Moment finde ich es unglaublich schwer, mich zu motivieren und meine Arbeit wie bisher zu erledigen. Ich bin da übrigens nicht der Einzige. Ich kenne Kollegen, die deswegen erst mal Urlaub genommen haben oder gesundheitlich ausfallen. Manche denken auch darüber nach, zu kündigen.
Manche Menschen würden womöglich sagen, es war naiv zu denken, Google würde auf Geschäfte mit der Regierung verzichten.
Das ist ein faires Argument, und vielleicht waren meine Kollegen und ich tatsächlich etwas naiv. Andererseits dachte ich mir, Google braucht das Geld nicht. Für ein Unternehmen von Googles Größe ist der finanzielle Anreiz jedenfalls kein zwingender Grund. Und nachdem wir gesehen haben, wie viel Rückhalt Anthropic dafür bekommen hat, den neuen Konditionen der Regierung nicht zuzustimmen, habe ich gehofft, dass Google einen ähnlichen Weg geht. Ich habe Google immer als Unternehmen verstanden, das sich von Prinzipien leiten lässt, und ich hätte mir gewünscht, dass die Entscheidung nach Abwägung aller Chancen und Risiken anders ausfällt. Anthropic ist damit das einzige führende KI-Unternehmen, das auf echten Einschränkungen bestanden hat, und wurde daraufhin vom Pentagon als Lieferkettenrisiko eingestuft. Das ist ein Novum für ein amerikanisches Unternehmen, soweit ich weiß. Das heißt, ein Unternehmen wollte vorher existierende Einschränkungen fortführen und wurde dafür bestraft. Die anderen haben unterschrieben. Dieser Präzedenzfall wird sich nur schwer rückgängig machen lassen.
2018 hat Google eine KI-Kooperation mit der US-Regierung unter dem Namen „Project Maven“ beendet, nachdem Mitarbeiter dagegen protestiert hatten. Warum hat das Unternehmen damals auf seine Beschäftigten gehört, aber heute nicht?
Darüber kann ich nur spekulieren. Aber vielleicht ist heute die Angst größer, den Zorn der Regierung auf sich zu ziehen. Als Donald Trump zum ersten Mal Präsident war, gab es unter Unternehmen noch eine größere Bereitschaft, sich zu widersetzen und sich von Empörung unter Mitarbeitern oder in der breiten Bevölkerung leiten zu lassen.
Kann es auch damit zu tun haben, dass sich die Machtverhältnisse in den Unternehmen zuungunsten der Mitarbeiter verschoben haben? Damals war der Kampf um qualifiziertes Personal viel härter, und entsprechend größer war womöglich der Druck, die Belegschaft bei Laune zu halten.
Das kann gut sein. Im Prinzip arbeiten wir ja gerade daran, uns selbst zu automatisieren. KI-Technologien können immer mehr Aufgaben übernehmen. Unternehmen werden immer weniger auf Mitarbeiter angewiesen sein, und das gilt insbesondere für die Techbranche. Das verschiebt natürlich auch die Machtverhältnisse. Ich fürchte, unser Einfluss als Beschäftigte wird kollabieren. Diese Gefahr ist sehr real. Insofern ist es wichtig, dass wir jetzt unsere Stimme erheben. In zwei Jahren wird es Unternehmen vielleicht nicht mehr wirklich interessieren, was wir zu sagen haben.
Die Kontroverse um die Pentagon-Verträge hat bei vielen Menschen den Eindruck hinterlassen, Anthropic seien die Guten und die anderen wie Open AI, X.AI und Google die Bösen. Aber ist das womöglich zu sehr schwarz und weiß gedacht? Anthropic war ja sogar das erste Unternehmen, dessen KI-Modelle von der US-Regierung für geheimhaltungsbedürftige Zwecke eingesetzt wurden.
Darüber habe ich auch viel nachgedacht. Aber ich habe schon den Eindruck, dass Anthropic wirklich Prinzipien hat und sie auch intern kommuniziert. Die überlegen sich sehr ernsthaft, welche Effekte ihre Technologien haben, und sie sind auch bereit, ihren Standpunkt zu verteidigen. Insofern finde ich, Anthropic hat sich in dieser Frage am glaubwürdigsten verhalten. Sie haben Rückgrat gezeigt und sind sich treu geblieben. In diesem Fall sehe ich das bei Google und Open AI nicht. Vielleicht ist das bei Google sogar noch offensichtlicher. Google hat sich eigentlich immer als wertegeleitetes Unternehmen dargestellt. Der alte Slogan „Don’t be evil“ ist ein Versprechen, an das die Mitarbeiter noch immer glauben. Gerade bei Google Deepmind arbeiten viele Forscher wegen dieser Werte. Sie sind Idealisten und sind sich auch der Risiken von KI bewusst. Ihnen ist es sehr wichtig, dass die Dinge, an denen sie arbeiten, nicht für Massenüberwachung und autonome Waffensysteme eingesetzt werden.
Erklären Sie doch bitte noch einmal, warum Sie eine Nutzung von KI-Modellen für diese Zwecke ablehnen.
Fangen wir mit autonomen Waffensystemen an: Ich kann grundsätzlich schon verstehen, warum es wichtig ist, autonome Waffensysteme zu haben. Das sehen wir zum Beispiel gerade in der Ukraine. Und wir würden ja auch nicht wollen, dass unsere Seite weiter vor allem auf Menschen angewiesen ist, wenn die Gegenseite nur aus Robotern besteht. Das Problem ist: Die heutigen KI-Modelle, um die es hier tatsächlich geht, sind dafür noch nicht bereit, egal ob ChatGPT, Claude oder Gemini. Sie machen noch oft Fehler, und deshalb braucht es menschliche Aufsicht. Es gibt ohnehin immer eine große Gefahr, dass militärische Angriffe irrtümlicherweise zivile Ziele treffen und dies katastrophale Folgen hat, so wie das kürzlich bei dieser Mädchenschule in Iran der Fall war. Und das ist im Moment umso riskanter, weil das Pentagon derzeit den Schutz von Zivilisten erkennbar nicht ernst nimmt und die US-Regierung systematisch die Institutionen schwächt, die Machtmissbrauch verhindern sollen.
Massenüberwachung bedroht die Demokratie. Und ich mache mir große Sorgen vor einer Zukunft, in der auch die Polizei und Sicherheitsbehörden mehr und mehr mit autonomen Systemen arbeiten. Die Einwanderungsbehörde ICE in den USA ist heute schon ziemlich übel, aber was wäre, wenn solche Behörden auch verstärkt autonome Drohnen und Roboter einsetzen? Ich wurde in Rumänien vor der Revolution 1989 geboren. Die Revolution gegen das Ceaușescu-Regime war erfolgreich, weil sich ja schlussendlich Teile des Militärs und der Polizei Anordnungen widersetzten, weiter auf Demonstranten zu schießen. Das war eine menschliche Entscheidung. Ein autonomes System, das den Befehl bekommt, einen Protest mit Gewalt niederzuschlagen, wird sich nur weigern, wenn das ausdrücklich so programmiert wurde. Und diese Programmierung kann jederzeit geändert werden. Es gibt heute kein Gesetz, das einer KI die Pflicht auferlegt, einen offensichtlich rechtswidrigen Befehl zu verweigern. Für Polizisten und Soldaten gibt es diese Pflicht sehr wohl. Das ändert die Machtbalance zwischen Staat und Gesellschaft enorm, und es wird viel leichter, Dissens zu unterbinden. Das ist supergefährlich, und das macht mir große Sorgen. Es macht auch vielen Kollegen große Sorgen, die den Brief unterschrieben haben. Ich kann deshalb sehr gut verstehen, warum Anthropic auf echten Restriktionen bestanden hat.
Inwiefern sollten denn Unternehmen Ihrer Meinung nach generell mit Regierungen zusammenarbeiten? Wo sollten sie eine Grenze ziehen?
Erst einmal: Ich finde nicht, dass Unternehmen sich grundsätzlich weigern sollten, mit dem Militär zu arbeiten. Das wäre in der gegenwärtigen Welt naiv. Aber ich meine, jedes Unternehmen sollte selbst frei entscheiden können, wo es die Grenze zieht. Und mich überzeugt das Argument nicht, dass man alle Restriktionen fallen lassen sollte, nur weil die Regierung der Kunde ist. In der Rüstungsindustrie ist es völlig normal, dass Hersteller technische Einsatzbedingungen und Grenzen festlegen, unter denen ihre Systeme sicher betrieben werden können. Dass ausgerechnet bei KI-Systemen, die noch deutlich fehleranfälliger und weniger nachvollziehbar sind als konventionelle Waffen, keine echten Einschränkungen gelten sollen, leuchtet mir nicht ein. Und leider werden die Vertragsbedingungen von heute zum Ausgangspunkt für die Verhandlungen über noch leistungsfähigere Systeme von morgen. Deshalb brauchen wir dringend Gesetze und Klarheit zu autonomen Systemen und KI-gestützter Überwachung im Inneren. Und auf Unternehmensseite brauchen wir Ehrlichkeit statt PR-Formulierungen und unabhängige Aufsicht, die nicht abgeschafft wird, sobald sie unbequem wird.
Sie haben den einstigen Google-Slogan „Don’t be evil“ angesprochen. Wie viel ist davon noch übrig?
Als ich 2013 zum ersten Mal bei Google angefangen habe, hatte ich schon den Eindruck, dass das wirklich ernst gemeint ist. Ein paar Jahre später hat Google „Don’t be evil“ degradiert und „Do the right thing“ zum neuen Leitmotto gemacht, was schon um einiges schwammiger klingt. Und im Februar 2025 hat Google die kategorischen Ausschlüsse für Waffen und Überwachung aus seinen eigenen KI-Prinzipien gestrichen. Das sind die Prinzipien, die nach dem Protest gegen „Project Maven“ 2018 erst geschrieben wurden. Mir kommt es so vor, als ob sich Google bei diesem Vertrag mit dem Pentagon auf die Position stellt: „Andere Unternehmen wie Open AI und X.AI machen es, warum also nicht wir auch?“ Es scheint, aus „Don’t be evil“ ist ein kollektives Schulterzucken geworden.
