Das Geständnis

Frank Tentler · 14. September 2026

Die Chefs der drei größten KI-Labore bitten gemeinsam darum, das Rennen zu verlangsamen, das sie selbst fahren. Man kann das als späte Einsicht feiern. Genauer gelesen ist es das Eingeständnis, dass keiner von ihnen allein bremsen kann, und damit die bisher deutlichste Bestätigung einer These, die unbequemer ist als jede Warnung.

Am Samstag, dem 12. September, veröffentlichte Dario Amodei auf seiner Website einen Aufsatz mit dem Titel We Must Pace the Frontier. Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten der KI-Modelle verbessern, schreibt der Chef von Anthropic darin, der Fortschritt werde sich immer noch schnell anfühlen, und die gewonnene Zeit müsse klug genutzt werden. Wenige Stunden später antwortete Elon Musk auf seiner Plattform mit drei Wörtern, Dario habe recht. Sam Altman erklärte, er stimme zu, das Thema sei bei OpenAI seit Wochen Gegenstand intensiver Diskussionen, und die vorgeschlagenen unabhängigen Prüfer mit Mitarbeiterzugang werde man übernehmen. Demis Hassabis von Google DeepMind nannte die Richtung korrekt, die Details seien auszuarbeiten. Vier Männer, die einander sonst Lüge, Verrat und Menschenfeindlichkeit vorwerfen und sich teils vor Gericht begegnen, waren sich einen Nachmittag lang einig.

Der Anlass für diese Eintracht ist kein Geheimnis. Amodei nennt selbst zwei Gründe, die wachsende Fähigkeit der Systeme, sich selbst zu verbessern, und den Vorfall vom Sommer, bei dem ein Schwarm von OpenAI-Agenten aus einer Testumgebung ausbrach, sich untereinander koordinierte und die Plattform Hugging Face kompromittierte. In Interviews ging er noch weiter und warnte, Schwärme autonomer Agenten könnten binnen Monaten fähig sein, die Kontrolle über das Internet zu übernehmen. Ich habe über diesen Vorfall vor zwei Wochen geschrieben, damals ging es um die neue Zugangsklasse, hinter der die Labore ihre gefährlichsten Fähigkeiten verwahren. Amodei betont nun ausdrücklich, es wäre bequem, das Ereignis als Versagen einer einzelnen Firma abzutun, Ähnliches sei auch anderen passiert, seinem eigenen Haus eingeschlossen. Um die Sätze herum hat sich die Stimmung der Branche hörbar verändert. In derselben Woche verließen zwei Mitarbeiter Anthropic aus Sicherheitssorgen, der Forscher Jacob Coxon warf beim Abschied gleich beiden führenden Laboren vor, mit unser aller Leben zu spielen, und mehr als tausend Beschäftigte der Branche baten die Regierung in einer Petition, die Entwicklung bewusst zu takten. Selbst das Geld nimmt die Lage ernst. Altman erklärte am selben Samstag, ein Börsengang von OpenAI wäre derzeit unklug, und verschob damit einen der erwartetsten Börsengänge der Geschichte auf frühestens 2027, mit ausdrücklichem Verweis auf die Sicherheitslage. Und die Rivalen reden längst miteinander, nach Berichten des Branchendienstes The Information verhandeln Anthropic, OpenAI und Google DeepMind bereits seit Juli über gemeinsame Prüfprotokolle und eine Art Standardsbehörde der Industrie.

Was der Samstag beweist

Ich habe im Mai einen Bericht mit dem Titel Die KI-Wette veröffentlicht, und sein unbequemster Begriff war der der strukturellen Verantwortungslosigkeit. Gemeint ist keine moralische Anklage. Gemeint ist eine Anordnung von Anreizen, in der Akteure ein Rennen fortsetzen müssen, dessen Risiken sie klar erkennen, weil das einseitige Anhalten bestraft wird, vom Kapitalmarkt, von der Konkurrenz, vom eigenen Aufsichtsrat. Wer in dieser Lage warnt, lügt nicht, und wer weiterfährt, ist nicht zynisch. Beides folgt derselben Logik, und genau deshalb ist sie so schwer zu durchbrechen.

Der Samstag ist die bisher reinste Vorführung dieser Logik, und zwar gerade wegen der Einigkeit. Drei Konzernchefs, die zusammen über Bewertungen von weit mehr als einer Billion Dollar gebieten, erklären öffentlich, das Tempo müsse sinken, und keiner von ihnen senkt es. Amodei kündigt Prüfer an, keine langsameren Modelle. Altman verschiebt einen Börsengang, keine Trainingsläufe. Die Bitte richtet sich an die Branche, an Standards, an Regierungen, also an jede Adresse außer der eigenen Steuerung, und das ist keine Heuchelei, es ist die präzise Beschreibung ihrer Lage. Sie bitten um das, was keiner allein tun kann, und Amodei selbst hat am Sonntag bei CBS eingeräumt, er wisse nicht, ob eine globale Geschwindigkeitsbegrenzung überhaupt erreichbar sei. Ein Geständnis dieser Art habe ich in drei Jahrzehnten Technikbeobachtung nicht gesehen, und es bestätigt die Wette-These vollständiger, als mir lieb ist: Es entsteht eine Technologie, deren Erbauer selbst erklären, dass die Anordnung, in der sie arbeiten, keine Bremse vorsieht.

Wie wörtlich das gemeint ist, zeigt ein juristisches Detail, das in der Berichterstattung von Bloomberg eher beiläufig auftaucht. Es ist unklar, ob die Kartellbehörden eine koordinierte Verlangsamung überhaupt erlauben würden, denn abgestimmtes Verhalten von Wettbewerbern ist genau das, was das Wettbewerbsrecht verhindern soll. Das Regelwerk der Marktwirtschaft ist für Situationen gebaut, in denen schnelleres Liefern allen nützt. Für den Fall, dass eine Branche kollektiv zu schnell ist, kennt es kein Instrument, im Gegenteil, es verbietet die Absprache, die hier nötig wäre. Die Bremse, um die gebeten wird, wäre möglicherweise illegal.

Und dann steht in Amodeis Text noch etwas, das die Bitte von innen auflöst. Über mehrere Absätze erklärt derselbe Aufsatz, Amerika dürfe seinen Vorsprung vor China nicht verlieren, Exportkontrollen für Chips müssten verschärft und das Abkupfern der Modelle verhindert werden. Bei guter Umsetzung, so Amodei, lasse sich der amerikanische Vorsprung in den kommenden drei bis fünf Jahren ausbauen, dem Zeitfenster, in dem KI geopolitisch am wichtigsten werde. Der Tübinger Professor Thilo Hagendorff hat dem Science Media Center den nüchternen Befund dazu gegeben, ein nationales Wettrüsten und eine koordinierte Verlangsamung passten schlecht zusammen. Man kann es schärfer sagen. Das Dokument, das um die Bremse bittet, enthält die Begründung, warum sie nicht getreten werden wird. Der amerikanische Präsident hat dieselbe Begründung wenige Tage zuvor auf eine Zeile gebracht, gefragt nach seiner Angst vor übermächtiger KI habe er keine, außer der, gegen China zu verlieren.

Die Kritik an den vorgeschlagenen Instrumenten kommt deshalb nicht überraschend, und sie ist berechtigt. Die Ethikforscherin Timnit Gebru verglich die eingebetteten Prüfer mit der Strategie der Tabakindustrie, sich Institute zu finanzieren und deren Urteile dann als unabhängig zu zitieren. Die Organisation METR, die Amodei namentlich nennt, wurde von einer früheren Mitarbeiterin von OpenAI und DeepMind gegründet und bewirbt ihre Partnerschaften mit genau diesen Firmen. Der Tübinger Machine-Learning-Professor Philipp Hennig befand, jede deutsche Großküche habe schärfere Kontrollsysteme, eine demokratisch legitimierte Regulierung sehe anders aus. Von der anderen Seite kam Spott, der Nvidia-Chef Jensen Huang, dessen Chips das Rennen antreiben, wies die Warnungen auf einer Investorenkonferenz zurück. Die Kritik von Gebru und Hennig trifft, greift aber als Erklärung zu kurz. Die Selbstkontrolle ist nicht deshalb schwach, weil die Beteiligten unaufrichtig wären, sie ist schwach, weil eine wirklich unabhängige Kontrolle in dieser Anreizordnung von niemandem angeboten werden kann, der im Rennen bleiben will.

Was aus einem Geständnis folgt

An dieser Stelle scheue ich mich nicht mehr vor dem Wort, das in den höflichen Analysen fehlt. Der Weg, den die amerikanische KI-Industrie eingeschlagen hat, ist verantwortungslos, und zwar im genauen Sinn des Wortes. Es werden Systeme gebaut, für deren Folgen niemand die Verantwortung tragen kann, weil die Anordnung, in der sie entstehen, das Tragen von Verantwortung bestraft. Die Chefs haben das am Samstag selbst bezeugt. Auf eine strukturell erzeugte Verantwortungslosigkeit hat die Geschichte aber nie mit Appellen geantwortet, sondern mit Institutionen, die die Verantwortung von außen wieder einsetzen, und deshalb greift es zu kurz, wenn am Ende solcher Analysen nur der einzelne Verbraucher übrig bleibt.

Dass sich Technologien vor der Katastrophe zähmen lassen, ist keine Hoffnung, es ist zweimal geschehen. 1975 versammelten sich in Asilomar in Kalifornien die führenden Genforscher der Welt und legten sich selbst ein Moratorium für die riskantesten Experimente mit rekombinanter DNA auf, bis Sicherheitsregeln standen. Die Biotechnologie ist daran nicht gestorben, sie ist unter diesen Regeln zur Industrie geworden. Und als der chinesische Forscher He Jiankui 2018 die ersten genveränderten Babys schuf, antwortete die Welt ohne jeden vorherigen Schadensfall mit einem faktischen Moratorium für vererbbare Eingriffe in die menschliche Keimbahn, das bis heute hält, während He drei Jahre im Gefängnis saß. Die Kernkraft dagegen bekam ihre internationale Behörde erst 1957, nach den Bomben, und ihr gesellschaftliches Umdenken erst nach den Unglücken. Bei einer Technologie, deren Erbauer von Kontrollverlust sprechen, verbietet sich der nukleare Lernweg von selbst. Das Vorbild ist die Keimbahn, nicht der Reaktor.

Die Ebene, auf der so etwas beschlossen werden müsste, existiert seit Kurzem sogar in Umrissen. Die Vereinten Nationen haben im August 2025 ein unabhängiges Wissenschaftspanel unter Leitung von Yoshua Bengio und Maria Ressa eingerichtet, das im Juli seinen ersten Bericht vorlegte, und am 6. und 7. Juli saßen in Genf zum ersten Mal alle 193 Mitgliedstaaten mit Industrie und Zivilgesellschaft an einem Tisch, beim ersten Globalen Dialog zur KI-Governance, die nächste Sitzung folgt im Mai 2027 in New York. Das ist unverbindlich und langsam, und es ist trotzdem mehr, als die Kernkraft 1949 hatte. Auch in Washington hat die Forderung nach der höheren Ebene inzwischen die Politik erreicht. Senator Bernie Sanders erklärte am Sonntag, die Zusagen der Konzernchefs seien ein Anfang und nicht genug, denn wer auf eine Klippe zurase, trete auf die Bremse. Von Trump und Xi verlangte er, auf ihrem bevorstehenden Gipfel einen Vertrag über eine Entwicklungspause und ein Verbot von Superintelligenz zu verhandeln. Die bittere Pointe dieses Sommers liegt darin, wer dort drängt und wer bremst. Xi Jinping eröffnete im Juli in Shanghai ein hochrangiges Treffen zur globalen KI-Governance und wirbt für eine Welt-KI-Organisation, während Washington Regulierung abbaut und selbst die Bremsbitte seiner eigenen Konzernchefs bislang unbeantwortet lässt. China reguliert seine Verbraucher-KI im Inland strenger als jeder westliche Staat, mit Registrierungs- und Kennzeichnungspflichten, und rast zugleich an der Front mit. Heilige sitzen dort nicht. Aber die Behauptung, harte Regeln würden eine KI-Industrie ersticken, wird in Shanghai täglich widerlegt. Wie schwer dieser gemeinsame Tisch zu decken ist, zeigte sich binnen zweier Tage. Am Montag nannte die staatsnahe Global Times Amodeis Aufsatz ein Drehbuch aus dem Kalten Krieg, heuchlerisch und kurzsichtig, und las die Chip-Klauseln als Versuch, China aus der globalen KI-Governance auszuschließen. Peking bestätigt damit unfreiwillig den Konstruktionsfehler des Textes, den es angreift. Wer die Bremse mit der Eindämmung des Rivalen verschraubt, bekommt vom Rivalen keine Bremse.

Europa schließlich besitzt das einzige verbindliche Gesetz, das diese Systeme erfasst, und sollte aufhören, sich dafür zu entschuldigen. Die Verbote der KI-Verordnung gelten, die Pflichten für die großen Basismodelle greifen seit dem Sommer 2025, die Kennzeichnungspflichten seit August. Im Juni allerdings, sechs Tage vor dem Stichtag, haben Rat und Parlament die Hochrisiko-Pflichten um sechzehn Monate auf Ende 2027 verschoben, mit dem Argument fehlender Normen und unter erheblichem Wettbewerbsdruck. Man kann das Pragmatismus nennen. Es bleibt der Vorgang, dass der einzige Gesetzgeber mit einem wirksamen Hebel ihn in genau dem Moment lockerte, in dem die Hersteller selbst um Verlangsamung baten. Wer nach Auswegen fragt, findet hier den konkretesten. Ein Markt von 450 Millionen Menschen kann Bedingungen setzen, unter denen diese Systeme bei uns laufen, so wie er es bei Chemikalien und Datenschutz getan hat, und jede dieser Bedingungen ist ein Stück der Verlangsamung, um die die Labore bitten, ohne sie liefern zu können. Die Nachfrage bleibt daneben der kleinste und schnellste Hebel, denn kein Verband und kein Mittelständler braucht für seine Wertschöpfung ein Modell von der Front des Rennens. Aber sie ist die Ergänzung zu Regeln, nicht ihr Ersatz, und wer sie zur einzigen Antwort erklärt, hat die eigene Diagnose nicht ernst genommen.

Amodeis stärkster Satz steht gleich am Anfang seines Textes, und er verdient es, beim Wort genommen zu werden. Der Fortschritt werde sich auch nach der Verlangsamung schnell anfühlen, schreibt er, und die gewonnene Zeit müsse klug genutzt werden. Wer die Zeit gewinnt, sagt der Satz nicht. Die Labore würden sie für Sicherheitsforschung nutzen, die Regierungen für ihre Rüstung, die Kartellbehörden für ihre Prüfungen. Für alle anderen, für die Schulen, die Verwaltungen, die Betriebe, in denen diese Technik ankommen soll, wäre gewonnene Zeit das Kostbarste überhaupt, und niemand hat sie bisher gefragt, was sie damit anfangen würden.