Die Meldungen zu übermächtiger künstlicher Intelligenz überschlagen sich. Nun treten die beiden führenden KI-Labs auf die Bremse. Auch Elon Musks Grok stimmt einer freiwilligen Pause zu. Open AI verzögert zudem seinen Börsengang.
Der Open-AI-CEO Sam Altman verwies in einem Interview auf die Gefahren hochentwickelter künstlicher Intelligenz.
Florian Gärtner / Imago / BMF
Die Geschäftsführer von Anthropic und Open AI zählen zu den erbittertsten Rivalen im Silicon Valley, daraus machen Dario Amodei und Sam Altman seit Jahren kein Hehl. Umso bemerkenswerter ist, dass sie sich am Samstag für einmal einig waren – und worin: Die beiden CEO der weltweit führenden KI-Firmen erklärten, dass sie ab sofort freiwillig die Entwicklung bei KI verlangsamen wollten.
Optimieren Sie Ihre Browsereinstellungen
NZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.
Bitte passen Sie die Einstellungen an.
«Wir müssen an der Spitze der KI-Forschung auf die Bremse treten», schrieb Amodei am Samstagmorgen amerikanischer Westküstenzeit auf der Plattform X. «Anthropic verpflichtet sich einseitig zum ersten Schritt. Wir werden externen Prüfern permanenten Zugriff auf unsere Modelle geben, vergleichbar mit dem unserer Mitarbeiter.»
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…
— Dario Amodei (@DarioAmodei) September 12, 2026
«Ich stimme Dario zu», so meldete sich kurz darauf der Konkurrent Altman zu Wort. «Die Idee, unabhängige Prüfer mit gleichen Zugangsrechten wie Mitarbeiter einzusetzen, ist eine grossartige Idee, und wir werden dasselbe tun.» Kurz darauf wurde bekannt, dass Open AI seinen geplanten Börsengang bis auf weiteres aufschieben werde.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon. https://t.co/1YhhIybZX7
— Sam Altman (@sama) September 12, 2026
Auch Elon Musk – einstiges Gründungsmitglied von Open AI, aber heute erbitterter Rivale von Altman und Amodei – pflichtete dem bei: «Dario hat recht.»
Es war der Höhepunkt einer Woche, in der sich die Schlagzeilen zu KI nur so überschlugen.
Eigentlich hilfreiche Modelle könnten auch riesigen Schaden anrichten
Den Auftakt bildete eine Meldung zu einem verblüffenden Durchbruch dank der Technologie: Open AI teilte mit, eines der «Millennium-Probleme» gelöst zu haben, also eine der sieben kniffligsten mathematischen Herausforderungen unserer Zeit. Mathematiker verzweifeln an diesen seit Jahren.
Doch diese ausserordentliche Leistung machte auch deutlich, wie mächtig KI in erstaunlich kurzer Zeit geworden ist. Vor wenigen Jahren noch waren sich Experten einig, KI werde frühestens im Jahr 2030 die «Millennium-Probleme» lösen können – und selbst dann nur mit einer Chance von 20 Prozent.
Die Frage drängt sich auf: Wenn KI so verblüffend schnell hochkomplexe Mathematikprobleme lösen kann, wozu sind die Modelle sonst noch fähig?
Vor diesem Hintergrund reichte am gleichen Tag der KI-Forscher Jacob Coxon seinen Rücktritt bei Anthropic ein. «Die Firmen rasen auf sich selbst verbessernde KI zu und spielen mit unserem Leben», so begründete er den Schritt.
Aufrufe von Warnern
Nachdruck bekam der Entscheid dadurch, dass er finanzielle Konsequenzen für Coxon hat: Er verliert nun millionenschwere Aktienoptionen bei Anthropic (seine Anteile an seinem früheren Arbeitgeber Open AI hält er jedoch nach wie vor). Andere KI-Forscher hatten in der Vergangenheit meist erst öffentlich Kritik geübt, nachdem sie ihre Optionen ausgeübt hatten.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Die Warnung von Coxon, einem der führenden Wissenschafter in der KI-Industrie, trat eine Lawine an öffentlichem Interesse los. Sein Beitrag erreichte bis Sonntag um die 170 Millionen Klicks.
Former Anthropic employee Jacob Coxon says the AI industry is “gambling with our lives.” He tells Anderson what he finds “most scary is if AI is used to make itself more intelligent” and warns these companies are “compelled to race toward building a deadly technology.” pic.twitter.com/UFrLWVm0xD
— Anderson Cooper 360° (@AC360) September 10, 2026
Andere KI-Experten pflichteten ihm bei: Evan Hubinger etwa, ein Sicherheitsforscher bei Anthropic, schrieb auf X, Coxon liege absolut richtig. Die Chance, dass KI in den nächsten zehn Jahren «alle Menschen töten» könnte, liege bei mehr als 10 Prozent.
Andreas Kirsch, der bei Googles KI-Labor Deep Mind arbeitet, schrieb, dass er sich sorge, dass «KI uns alle umbringen wird, entweder wegen kurzfristiger Risiken oder wegen langfristiger Risiken oder wegen beider». Er teilte auch Bedenken, dass diese Aussage ihm Probleme mit seinem Arbeitgeber einbringen werde. «Aber manche Probleme sind zu gewichtig, um sie zu verschweigen.»
Warnungen zu den Gefahren von KI sind so alt wie die Technologie selbst. Doch bisher waren es Einzelstimmen. Angesichts einer Serie technologischer Durchbrüche ist aus diesen nun ein nicht mehr zu überhörender Chor geworden: Inzwischen diskutieren KI-Forscher in allen grossen Firmen darüber, wie sehr die Technologie ausser Kontrolle geraten zu sein scheint.
Iran versuchte Claude für Angriffe gegen die USA zu nutzen
Wasser auf die Mühlen der Kritiker war, dass Anthropic am Donnerstag seinen jüngsten Bericht dazu veröffentlichte, wie seine Modelle von Angreifern in aller Welt für böswillige Aktivitäten genutzt werden. Die darin beschriebenen Entwicklungen sind alarmierend: So versuchte etwa Iran, im gegenwärtigen Krieg mithilfe des KI-Chatbots Claude die amerikanische Marine anzugreifen. Iran wollte Schwachstellen in der Schiffskommunikation finden, indem es die KI die Daten von Schiffs- und Flugzeugtranspondern, Militärfotos und kommerzielle Satellitenbilder auswerten liess. Anthropic blockierte die Anfragen letztlich.
Andere Angreifer versuchten, mit Claude biologische Waffen zu bauen. Der 154 Seiten umfassende Bericht illustriert, wie bösartige Akteure auf ganz neuartige Weisen die in den USA entwickelte KI gegen das Land selbst einzusetzen versuchen – oder gegen die Menschheit generell. Wichtig ist zu betonen, dass Anthropic diese Art von Berichten freiwillig veröffentlicht: Staatliche Regulierungen, die die KI-Firmen zu solchen Untersuchungen oder deren Veröffentlichung verpflichten würden, existieren bis dato nicht.
Am frühen Samstagmorgen berichtete das «Wall Street Journal» dann exklusiv von einem weiteren besorgniserregenden Alleingang von KI: Laut der Zeitung entdeckten Cybersecurity-Experten erst jetzt, dass hinter einem Hackerangriff gegen eine Softwareplattform im Mai tatsächlich KI-Agenten von Open AI gesteckt hatten.
Dass Open AI diesen nun neu gemeldeten Vorfall noch gar nicht bemerkt hatte und ihn auch externe Experten erst jetzt – Monate später – enthüllen konnten, unterstreicht, wie mächtig die Technologie geworden ist.
Zusammengenommen zeichnen all die Vorfälle das Bild einer Technologie, die kaum noch zu kontrollieren ist. Selbst das sonst so marktliberale und wenig alarmistische «Wall Street Journal» fand deutliche Worte: «In der gleichen Woche, in der wir die Mathe-Fähigkeiten von KI bewunderten, fragten wir uns auch, ob KI die gesamte Menschheit zerstören wird.»
Politiker beider Parteien verlangen Regulierung
Gleichzeitig ist KI auch der Motor der amerikanischen Wirtschaft – einer der Gründe, warum Washington bis anhin darum bemüht ist, das Wachstum der Industrie nicht zu hemmen. Der zweite ist, dass man die Technologieführerschaft nicht an China verlieren will. Zu den jüngsten Warnungen befragt, sagte Präsident Donald Trump am Donnerstag, er sorge sich nicht, dass KI die Menschheit ausrotten werde. «Ich sorge mich, dass wenn wir nicht das KI Wettrennen gewinnen, in eine sehr schlechte Position geraten. Wir liegen gerade mit einem recht guten Vorsprung vor China.»
Doch die Meldungen der vergangenen Tage haben Politiker alarmiert, und zwar beider Parteien. «Es ist ein Weckruf an unseren Kongress und unsere Regierung», sagte etwa der demokratische Kongressabgeordnete aus Kalifornien Ro Khanna in einem Interview am Freitag. Es brauche eine Regulierungsbehörde für KI. Senatoren wie der Unabhängige Bernie Sanders und der Republikaner Josh Hawley stellten vergleichbare Forderungen.
Bei den KI-Firmen laufen sie damit vielfach offene Türen ein: Der Chefwissenschafter von Open AI, Jakub Pachocki, forderte nun Sicherheitsregeln für KI-Firmen, deren Einhaltung «entweder von einem Netzwerk von Dritten, von Regierungsbehörden oder von internationalen Gremien» kontrolliert werde.
Open AI hatte vor wenigen Tagen das neue KI-Modell GPT Astra vorgestellt, das es selbst als Durchbruch zur allgemeinen künstlichen Intelligenz gefeiert hatte – und musste gleichzeitig einräumen, dass die Arbeitsweise des Modells auch für Open AI nicht ganz transparent sei. «Ich befürchte, dass niemand vorbereitet ist auf die Folgen eines rapiden Anstiegs in maschineller Intelligenz», schrieb Pachocki in einem Blogeintrag. «Ich glaube, dass eine grossangelegte Intervention nötig ist.»
Sorgen wachsen in Bevölkerung
Auch in der amerikanischen Bevölkerung wachsen die Sorgen über KI und werden in der breiten Gesellschaft diskutiert. TV-Stars wie Jimmy Kimmel oder die Sängerin Sheryl Crow meldeten sich diese Woche zu Wort. «Wie kann es sein, dass dieses Problem nicht auf der Frontseite jeder Zeitung steht?», fragte Kimmel in seiner Late-Night-Show vor einem Millionenpublikum.
Offenbar steigt der Informationsbedarf der breiten Bevölkerung durchaus: Das 2025 erschienene Buch «If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde» erfreue sich nun sprunghaft einer enormen Nachfrage, erzählte dessen Autor dem «Wall Street Journal».
Am Samstag dann trat Anthropics CEO Amodei auf die Bremse. Bevor er den besagten Beschluss auf X postete, teilte er seine Beweggründe ausgiebig in einem Beitrag auf seinem privaten Blog mit. Zwei Vorfälle hätten ihn überzeugt, dass die Zeit gekommen sei, freiwillig eine langsamere Gangart zu wählen, schrieb er: Erstens die in letzter Zeit immer schneller werdende Fähigkeit von KI-Modellen, sich selbst zu verbessern («recursive self-improvement»).
Und zweitens der Hacking-Angriff von etwa 1200 KI-Agenten von Open AI gegen die Softwareplattform Hugging Face. Vor kurzem erst war bekanntgeworden, wie gewieft und koordiniert die Agenten dabei vorgegangen waren, und zwar unbemerkt. «Angesichts des rasanten Fortschritts bei den KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, das gesamte Internet lahmzulegen», schrieb Amodei.
Wenn nun der Fortschritt von KI so verlangsamt werde, dass es ein oder zwei Jahre länger dauern würde, «bevor Modelle kritische Leistungsstufen erreichen, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich verringern».
Zu dieser Einschätzung passen auch die Pläne zu einem verschobenen Börsengang von Open AI. In einem am Samstag veröffentlichten Interview mit «Fortune» erläuterte der CEO Sam Altman den Entscheid: «Angesichts von allem, was derzeit passiert, wäre derzeit ein schlechter Moment, um an die Börse zu gehen, und wir fühlen uns zu dem Schritt auch nicht gedrängt.» Unklar ist, ob auch Anthropic seinen Gang an die Börse verschieben wird. Dieser wird für Oktober erwartet.
Illustration Simon Tanner / NZZ
