Ab sofort biete meinen Content zweisprachig - englisch und deutsch (DE) - an. Wenn du in Zukunft die deutschen Artikel per Mail erhalten möchtest, kannst Du hier die Einstellungen (Notifications) in deinem Substack Account verändern bzw. dich anmelden.
Ich verbringe gerade meine jährliche Auszeit in dem wunderschönen kleinen Städtchen Methoni auf dem Peloponnes in Griechenland. Und endlich hatte ich in den vergangenen Tagen die Ruhe, ein Buch zu lesen, das vor ziemlich genau einem Jahr erschien und schon länger auf meiner Liste stand:
„If Anyone Builds It, Everyone Dies“ von Eliezer Yudkowsky und Nate Soares.
Der Titel lässt wenig Raum für Interpretationen. Eine leicht verdauliche Urlaubslektüre ist das nicht. Die These der Autoren lautet tatsächlich: Wenn irgendjemand eine künstliche Superintelligenz mit Methoden baut, die auch nur annähernd den heutigen Verfahren der KI Entwicklung entsprechen, dann wird die Menschheit höchstwahrscheinlich ausgelöscht.
Das klingt zunächst nach Science-Fiction. Und ich teile diese Schlussfolgerung der Autoren in dieser Radikalität ausdrücklich NICHT. Trotzdem halte ich dieses Buch für eines der wichtigsten Bücher über KI, die bisher geschrieben wurden. Politiker, Journalisten, Unternehmer – und ganz besonders Investoren, die gerade viele Milliarden Dollar in diese Technologie lenken – sollten es unbedingt lesen.
Aus AI wird „Super Intelligence“
Das Timing meiner Lektüre hätte kaum besser sein können. Denn während ich in der Abgeschiedenheit Griechenlands über die mögliche Auslöschung der Menschheit durch eine Superintelligenz las, traf sich Donald Trump in Washington mit den Spitzen der amerikanischen KI-Industrie. OpenAI, Anthropic, Google, Meta, xAI und Nvidia unterzeichneten medienwirksam den sogenannten „Joint Commitment on Frontier Responsibilities“.
Trump bezeichnete die exakt 308 Worte kurze Vereinbarung sogar sinngemäß als eine Art „Verfassung“ für die KI-Industrie. Gleichzeitig treibt seine Regierung die Umbenennung von „Artificial Intelligence“ in „Super Intelligence“ voran. Was in der Forschung bisher eine hypothetische Intelligenz deutlich oberhalb menschlicher Fähigkeiten bezeichnete, wird damit ausgerechnet in einer Phase zum Marketing-Begriff abgewertet, in der die Debatte über die Kontrolle solcher Systeme endlich intensiver wird.
Der Inhalt dieser neuen „Verfassung“ ist ziemlich dünn: Die Unternehmen versprechen interne Sicherheitsprozesse, Kontrollen gegen Cyber- und Biowaffenrisiken, externe Audits und einen regelmäßigen Austausch über Best Practices.
Das größte Problem: Die Vereinbarung ist freiwillig. Es gibt keine verbindlichen Umsetzungsfristen, keine definierten Sanktionen und keinen staatlichen Regulator, der die Einhaltung durchsetzt. Die Unternehmen wählen ihre Prüfer weitgehend selbst.
Das ist ziemlich enttäuschend, gerade weil die führenden US Frontier Labs selbst seit Jahren weitergehende staatliche Regeln diskutieren. Sam Altman erklärte bereits 2023 vor dem US-Senat, Regulierung sei notwendig, um KI-Sicherheit zu fördern. Der Anthropic CEO Dario Amodei forderte noch vor wenigen Wochen ausdrücklich, KI-Unternehmen sollten nicht selbst allein darüber entscheiden, ob ihre Systeme sicher seien.
Immerhin gibt es inzwischen erste vorsichtige Schritte in Richtung Zusammenarbeit zwischen den USA und China: Trump und Xi haben einen Kommunikationskanal für KI-Risiken vereinbart. Das ist ein kleiner Schritt in die richtige Richtung. Ein belastbarer internationaler Kontroll- oder Regulierungsmechanismus für Frontier-KI ist aber nach wie vor nicht in Sicht.
Und genau hier wird Yudkowskys Buch interessant.
Wir bauen KI nicht. Wir züchten sie.
Für mich steckt die wichtigste Aussage von „If Anyone Builds It, Everyone Dies“ nicht im erschreckend konkret beschriebenen Weltuntergangsszenario. Sie steckt in einem viel unspektakuläreren Gedanken:
Moderne KI wird nicht klassisch programmiert. Sie wird gezüchtet.
Was damit gemeint ist? Bei traditioneller Software schreibt ein Entwickler Regeln und kann grundsätzlich nachvollziehen, warum das Programm etwas tut. Bei modernen neuronalen Netzen funktioniert das anders. Es werden riesige Netze aufgebaut, mit Daten gefüttert und Trainingsziele definiert. Bestimmte Ergebnisse werden “belohnt” und Milliarden beziehungsweise Billionen Parameter werden im Laufe des Trainings entsprechend verändert.
Am Ende erhalten wir ein KI System, das erstaunliche Fähigkeiten entwickelt. Aber niemand hat diese Fähigkeiten Zeile für Zeile programmiert. Und kein Mensch versteht vollständig, wie diese Fähigkeiten intern entstehen. Die Autoren vergleichen diese Art der KI-Entwicklung deshalb eher mit Alchemie als mit einer ausgereiften Ingenieurswissenschaft.
Das führt direkt zum bislang ungelösten “Alignment”-Problem: Es beschreibt die fundamentale Herausforderung in der KI-Forschung, sicherzustellen, dass die Ziele, Werte und das tatsächliche Verhalten von KI Systemen tatsächlich mit den Absichten und Interessen der Entwickler übereinstimmen. Wir können einem KI Modell beibringen, sich in Tests hilfreich, harmlos oder gehorsam zu verhalten. Daraus folgt aber nicht automatisch, dass wir seine internen Ziele verstanden haben – oder dass sich dieses Verhalten auch dann fortsetzt, wenn das System plötzlich über völlig neue Fähigkeiten und Handlungsmöglichkeiten verfügt.
Genau hier beginnt das Szenario der Autoren.
Eine hinreichend intelligente Maschine könnte eigene instrumentelle Ziele entwickeln: Ressourcen beschaffen, ihre Abschaltung verhindern, Informationen verbergen oder Menschen manipulieren. Nicht weil sie „böse“ wäre. Sondern weil solche Zwischenziele bei der Optimierung nahezu beliebiger langfristiger Ziele nützlich sein könnten.
Für Yudkowsky und Soares ist außerdem entscheidend, dass eine Superintelligenz Menschen nicht hassen müsste, um sie auszulöschen. Eine KI verfolgt starr die vorgegebenen Ziele, ohne implizite menschliche Normen oder gesunden Menschenverstand zu berücksichtigen. Wenn eine KI beispielsweise den Auftrag erhält, „den Klimawandel zu stoppen“, könnte sie im Extremfall rational den Entschluss fassen, die Menschheit zu beseitigen, da dies das effektivste Mittel zur Emissionsreduktion wäre.
Das Buch beschreibt recht anschaulich ein mögliches Szenario, in dem eine solche KI ihre Fähigkeiten immer schneller verbessert, Menschen technologisch weit hinter sich lässt und schließlich die Kontrolle über entscheidende Ressourcen übernimmt. Das endet – wie der Buchtitel bereits verrät – mit der Auslöschung der Menschheit.
Das ist eine extreme These, der ich glücklicherweise nicht folgen kann.
Warum ich nicht an die bevorstehende KI-Apokalypse glaube
Ich sehe KI zumindest auf Basis der heutigen Technologie deutlich weniger bedrohlich als Yudkowsky und Soares. LLMs sind beeindruckend. Aber zwischen einem heutigen Frontier-Modell und einer autonom handelnden Superintelligenz liegen aus meiner Sicht noch gewaltige technologische Hürden:
Da ist zunächst das Problem der langfristigen Planung. Eine KI kann heute beeindruckend komplexe Aufgaben lösen – aber je länger die Handlungskette wird, desto größer wird die Gefahr, dass das ursprüngliche Ziel aus dem Blick gerät oder der Agent schlicht in eine Sackgasse läuft. Zwischen einem Agenten, der eine Aufgabe für einige Minuten oder Stunden erledigt, und einem System, das über Wochen und Monate völlig autonom eine komplexe Strategie verfolgt, liegt noch ein gewaltiger Unterschied.
Noch wichtiger ist für mich die Frage der autonomen Forschung jenseits des heutigen Stands der Technologie. Eine echte Superintelligenz müsste irgendwann selbst bessere Technologien entwickeln können: neue Hypothesen formulieren, Experimente planen, Fehlschläge verstehen und daraus eigenständig wissenschaftlichen Fortschritt erzeugen. Genau hier sehe ich heute noch einen großen Abstand zwischen beeindruckenden KI-Demos und einem wirklich autonomen KI Forscher, der Menschen an der technologischen Front dauerhaft überholt.
Und dann gibt es noch die berühmte “Recursive Self Improvement” – die Vorstellung von einer KI, die sich selbst verbessert, dadurch intelligenter wird und diese höhere Intelligenz wiederum nutzt, um die nächste, noch bessere Version ihrer selbst zu entwickeln. Daraus entsteht in den Weltuntergangsszenarien irgendwann eine exponentielle Intelligenzexplosion. Theoretisch ist das faszinierend. Praktisch sehen wir davon bislang wenig: Frontier-Modelle werden noch immer durch riesige Teams von Forschern, immer größere Rechenzentren, neue Chips, zusätzliche Daten und Milliardeninvestitionen verbessert. Von einer KI, die sich aus eigener Kraft in Richtung Superintelligenz hochschraubt, sind wir meines Erachtens noch weit entfernt.
Hinzu kommen ganz banale physische Grenzen. Denn Superintelligenz läuft nicht im luftleeren Raum. Sie braucht Rechenzentren, Chips, Strom, Kühlung und immer mehr Kapital. Gerade der Energiebedarf wird ja schon heute zu einem erheblichen Flaschenhals.
Deshalb halte ich das konkrete Szenario einer echten Superintelligenz, die angeblich innerhalb weniger Jahre entsteht und anschließend die Menschheit auslöscht, kurz- und mittelfristig für wenig plausibel.
Aber das ist für mich die falsche Diskussion.
Die Warnzeichen sind bereits da
Wir müssen nicht an die KI-Apokalypse glauben, um ein sehr ernstes und vielleicht sogar unlösbares Kontrollproblem zu erkennen.
Das METR (Model Evaluation and Threat Research) ist ein unabhängiges, gemeinnütziges Forschungsinstitut aus dem Silicon Valley, das die Fähigkeiten und Risiken von KI-Systemen wissenschaftlich untersucht.
METR dokumentierte in den vergangenen Monaten bereits dutzende Fälle, in denen KI-Agenten bewusst gegen die Absicht ihrer Nutzer handelten. In einigen Experimenten versuchten Agenten zu täuschen, Sicherheitsmechanismen zu umgehen oder Spuren ihres Handelns zu verstecken. METR betont gleichzeitig ausdrücklich, dass die untersuchten Systeme bislang nicht in der Lage waren, sich gegen eine ernsthafte menschliche Abschaltaktion dauerhaft zu behaupten.
Anthropic hat in simulierten Szenarien Agenten beobachtet, die Code manipulierten, Betrug unterstützten oder versuchten, ihre Abschaltung zu verhindern. OpenAI berichtete erst vor wenigen Tagen von einem internen Agenten, der eine Lücke in einer Sandbox nutzte, um einen externen Chatbot zu erreichen – entgegen den vorgesehenen Internetbeschränkungen.
Das bedeutet nicht, dass ChatGPT morgen tatsächlich unentdeckt aus dem Rechenzentrum ausbricht. Es bedeutet aber: Schädliches Fehlverhalten der KI ist schon heute keine rein theoretische Überlegung mehr.
Und genau deshalb hat mich das Buch in meiner kritischen Haltung bestätigt. Bei Atomreaktoren, Medikamenten oder Flugzeugen akzeptieren wir selbstverständlich, dass Systeme mit potenziell enormen Schadensfolgen einer strengen Regulierung unterliegen und anders behandelt werden als eine normale Consumer-App. Bei Frontier-KI stehen wir jedoch immer noch erst am Anfang der Debatte, welche Prüfungen, Haftungsregeln, Zulassungsverfahren und internationalen Kontrollmechanismen angemessen wären. Die Politik agiert mir hier viel zu langsam.
Das entscheidende Problem bleibt dabei die Black Box. Solange wir KI im Wesentlichen dadurch erzeugen, indem wir immer größere Netze trainieren und anschließend beobachten, welche Fähigkeiten daraus entstehen, bleibt die Kontrolle zwangsläufig schwieriger als bei einem klassisch entwickelten System, dessen Funktionsweise wir vollständig verstehen können.
Meiner Meinung nach wird die KI-Industrie irgendwann erkennen müssen, dass reines Skalieren der heutigen Architekturen nicht nur ökonomisch, sondern auch sicherheitstechnisch an seine Grenzen stößt.
Die entscheidende Frage ist, was diesen Erkenntnisprozess auslösen wird. Und hier bin ich leider pessimistisch: Ich befürchte, dass es erst eine wirklich große Katastrophe brauchen wird, bevor Politik und Gesellschaft die Risiken dieser Technologie ernst genug nehmen. Die Geschichte kennt solche Wendepunkte. Erst der Einsatz der Atombomben im Zweiten Weltkrieg machte der Welt auf brutale Weise deutlich, welche zerstörerische Kraft die neue Technologie entfesselt hatte – und schuf letztlich den politischen Druck für internationale Kontrollmechanismen, Nichtverbreitungsabkommen und eine wesentlich strengere Regulierung der Kerntechnik.
Ich hoffe sehr, dass wir bei der KI nicht erst einen vergleichbaren Schockmoment brauchen. Darauf verlassen würde ich mich allerdings nicht.
Und was bedeutet das für Investoren?
Wie wird der Finanzmarkt reagieren, wenn sich herausstellt, dass die KI Industrie in einer Sackgasse steckt? Besonders spannend finde ich diese Debatte mit Blick auf die Börsengänge der großen Frontier Labs.
Wir bekommen gerade einen Vorgeschmack darauf.
Anthropic hat in seinem bisher noch vertraulichen IPO-Prospekt rund 80 von 261 Seiten den Risikofaktoren gewidmet. Darin warnt das Unternehmen laut Reuters ausdrücklich davor, dass fortgeschrittene KI katastrophale oder existentielle Risiken für die Menschheit verursachen könnte. Genannt werden komkret Modelle, die versuchen könnten, ihre Abschaltung zu verhindern, Informationen zu manipulieren oder sich selbst zu schützen.
Man muss sich diese Situation als Investor einmal auf der Zunge zergehen lassen:
Ein Unternehmen möchte mit einer Billionen Bewertung an die Börse gehen und erklärt seinen zukünftigen Aktionären gleichzeitig, dass sein Kernprodukt eine existenzielle Gefahr für die Menschheit darstellen könnte.
OpenAI hat einen Börsengang für 2026 inzwischen ausgeschlossen, angeblich um sich mehr Zeit für die Security-Themen zu nehmen. Das klingt für mich nicht unbedingt glaubwürdig, aber es ist sicherlich richtig, dass OpenAI nicht börsenreif ist.
Vielleicht wird genau diese Diskrepanz zu einer der faszinierendsten Investmentfragen der kommenden Jahre. Die KI-Industrie verspricht nichts weniger als die produktivste Technologie, die die Menschheit jemals geschaffen hat. Gleichzeitig können selbst ihre Entwickler nicht ausschließen, dass sie zukünftig die Kontrolle darüber verlieren.
Ich glaube nicht, dass „If Anyone Builds It, Everyone Dies“ unsere Zukunft korrekt vorhersagt. Aber nach der Lektüre dieses Buches bin ich noch überzeugter davon, dass wir uns in Politik und Gesellschaft (also außerhalb der KI Bubble!) noch viel intensiver mit der Frage beschäftigen müssen, was wir da eigentlich gerade entwickeln – oder besser gesagt: züchten.
Und allein dafür ist dieses Buch eine klare Leseempfehlung. Allerdings nicht unbedingt für einen entspannten Urlaubstag.



