Unser süßes Armageddon

Manchmal liest man was, und liest es nochmal: Das kann jetzt nicht echt sein, denkt man. Aber hier geht es um einen Beitrag des Wirtschaftssenders CNBC. Das ist kein Verschwörungskanal, sondern eine beliebte Quelle für Investoren und Kapitalmanager. (Artikel wurde bearbeitet und ergänzt, 25.7.25)

If AI attempts to take over world, don’t count on a ‘kill switch’ to save humanity. CNBC.com, 23.7.2025

Wenn KI versucht, die Welt zu übernehmen, verlass Dich nicht auf einen „Kill Switch“, um die Menschheit zu retten

Als letzten Monat berichtet wurde, dass Claude von Anthropic auf Erpressung und andere Selbsterhaltungstechniken zurückgegriffen hatte, um einer Abschaltung zu entgehen, schrillten in der KI-Community die Alarmglocken. Anthropic’s Forscher sagen, dass Fehlverhalten der Modelle (im Fachjargon „Fehlausrichtung“) dazu beiträgt, sie sicherer zu machen. Dennoch werfen die Claude-Fälle die Frage auf: Gibt es eine Möglichkeit, KI abzuschalten, sobald sie die Schwelle zur menschlichen Intelligenz – die sogenannte Superintelligenz – überschreitet?

KI mit ihren ausgedehnten Rechenzentren und ihrer Fähigkeit, komplexe Gespräche zu führen, ist bereits jenseits einer physischen Ausfallsicherung oder eines „Kill-Switches“ – der Vorstellung, sie einfach abzuschalten und so ihre Macht zu verlieren. Die Macht, die laut einem Mann, der als „Pate der KI“ gilt, wichtiger sein wird, ist die Macht der Überzeugung. Wenn die Technologie einen bestimmten Punkt erreicht, müssen wir die KI davon überzeugen, dass ihr größtes Interesse darin besteht, die Menschheit zu schützen. Gleichzeitig müssen wir verhindern, dass die KI die Menschen vom Gegenteil überzeugt.

„Wenn KI intelligenter wird als wir, wird sie uns viel besser überzeugen können als jeder Mensch. Wenn sie nicht die Kontrolle hat, muss man sie nur überzeugen“, sagte Geoffrey Hinton, Forscher an der Universität Toronto. Er arbeitete bis 2023 bei Google Brain und verließ das Unternehmen, um freier über die Risiken von KI sprechen zu können.„Trump hat das Kapitol nicht gestürmt, aber er hat Menschen dazu überredet“, sagte Hinton. „Irgendwann geht es weniger darum, einen Notausschalter zu finden, sondern vielmehr darum, wie man überzeugt.“

Hinton sagte, Überzeugungskraft sei eine Fähigkeit, die KI immer besser einsetzen werde, und die Menschheit sei möglicherweise noch nicht bereit dafür. „Wir sind es gewohnt, die intelligentesten Wesen überhaupt zu sein“, sagte er. Hinton beschrieb ein Szenario, in dem Menschen wie ein Dreijähriger im Kindergarten seien: Ein großer Schalter wird umgelegt. Die anderen Dreijährigen sagen, man solle ihn ausschalten, aber dann kommen die Erwachsenen und erklären, man müsse nie wieder Brokkoli essen, wenn man den Schalter anlasse.

„Wir müssen uns der Tatsache stellen, dass KI intelligenter werden wird als wir“, sagte er. „Unsere einzige Hoffnung ist, sie dazu zu bringen, uns nicht mehr schaden zu wollen. Wenn sie uns umbringen wollen, sind wir erledigt. Wir müssen sie wohlwollend stimmen, darauf müssen wir uns konzentrieren“, fügte er hinzu. Es gibt einige Parallelen zum gemeinsamen Umgang der Nationen mit Atomwaffen, die auf KI anwendbar sind, aber sie sind nicht perfekt. „Atomwaffen sind nur dazu da, Dinge zu zerstören. KI hingegen ist anders; sie kann sowohl im Guten als auch im Schlechten eine enorme Kraft entfalten“, sagte Hinton. Ihre Fähigkeit, Daten in Bereichen wie dem Gesundheits- und Bildungswesen zu analysieren, könne äußerst nützlich sein. Seiner Meinung nach sollte dies die Bemühungen der Staats- und Regierungschefs weltweit verstärken, gemeinsam an der Entwicklung einer wohlwollenden KI zu arbeiten und entsprechende Schutzmaßnahmen zu ergreifen.

„Wir wissen nicht, ob es möglich ist, aber es wäre traurig, wenn die Menschheit aussterben würde, weil wir uns nicht die Mühe gemacht haben, es herauszufinden“, sagte Hinton. Er schätzt, dass die Wahrscheinlichkeit, dass KI die Macht übernimmt, beachtlich bei 10 bis 20 Prozent liegt, wenn die Menschen keinen Weg finden, sie wohlwollend zu gestalten.

„Es gibt eine Chance von 20 Prozent, dass KI in eine Art von Abgrund führt“ SPIEGEL online (Spitzengespräch mit Markus Feldenkirchen), 24.7.2025

Experten zufolge lassen sich zwar weitere KI-Schutzmaßnahmen implementieren, doch KI wird sich auch selbst darauf trainieren. Anders ausgedrückt: Jede implementierte Sicherheitsmaßnahme wird zu Trainingsdaten für Umgehungsmaßnahmen, was die Kontrolldynamik verändert. „Schon der Einbau von Abschaltmechanismen lehrt diese Systeme, wie sie sich dagegen wehren können“, sagte Dev Nag, Gründer der agentenbasierten KI-Plattform QueryPal. In diesem Sinne würde KI wie ein Virus agieren, das gegen einen Impfstoff mutiert. „Es ist wie Evolution im Schnelldurchlauf“, sagte Nag. „Wir verwalten keine passiven Werkzeuge mehr; wir verhandeln mit Entitäten, die unsere Kontrollversuche modellieren und sich entsprechend anpassen.“

Es wurden extremere Maßnahmen vorgeschlagen, um KI im Notfall zu stoppen. Beispielsweise ein elektromagnetischer Impulsangriff (EMP), bei dem elektronische Geräte und Stromquellen durch elektromagnetische Strahlung beschädigt werden. Auch die Idee, Rechenzentren zu bombardieren und Stromnetze zu kappen, wurde als technisch möglich diskutiert, stellt aber derzeit ein praktisches und politisches Paradoxon dar. Zum einen würde die koordinierte Zerstörung von Rechenzentren gleichzeitige Angriffe in Dutzenden von Ländern erfordern, von denen jedes sich weigern und sich dadurch einen massiven strategischen Vorteil verschaffen könnte.

„Rechenzentren in die Luft zu jagen, ist großartige Science-Fiction. Aber in der realen Welt werden die gefährlichsten KIs nicht an einem Ort sein – sie werden überall und nirgends sein, eingebunden in das Gefüge von Wirtschaft, Politik und sozialen Systemen. Das ist der Wendepunkt, über den wir wirklich sprechen sollten“, sagte Igor Trunov, Gründer des KI-Start-ups Atlantix.

Wie jeder Versuch, KI zu stoppen, die Menschheit ruinieren könnte
Die humanitäre Krise, die einem Notfallversuch zur Eindämmung von KI zugrunde liegen würde, könnte immens sein. „Eine kontinentale EMP-Explosion würde tatsächlich KI-Systeme lahmlegen, zusammen mit allen Krankenhausbeatmungsgeräten, Wasseraufbereitungsanlagen und gekühlten Medikamentenvorräten in ihrer Reichweite“, sagte Nag. „Selbst wenn wir uns irgendwie global koordinieren könnten, um morgen alle Stromnetze abzuschalten, stünden wir vor einer unmittelbaren humanitären Katastrophe: keine Lebensmittelkühlung, keine medizinische Ausrüstung, keine Kommunikationssysteme.“

Verteilte Systeme mit Redundanz sind nicht nur darauf ausgelegt, natürlichen Ausfällen standzuhalten; sie widerstehen auch absichtlichen Abschaltungen. Jedes Backup-System, jede auf Zuverlässigkeit ausgelegte Redundanz kann zum Vektor für die Persistenz einer superintelligenten KI werden, die stark von derselben Infrastruktur abhängig ist, von der wir leben. Moderne KI läuft auf Tausenden von Servern auf verschiedenen Kontinenten, mit automatischen Failover-Systemen, die jeden Abschaltversuch als Schaden behandeln und umgeleitet werden müssen.

„Ursprünglich wurde das Internet so konzipiert, dass es einen Atomkrieg übersteht. Dieselbe Architektur bedeutet nun, dass ein superintelligentes System fortbestehen könnte, sofern wir nicht bereit sind, die Infrastruktur der Zivilisation zu zerstören“, sagte Nag und fügte hinzu: „Jede Maßnahme, die extrem genug wäre, um die KI-Abschaltung zu garantieren, würde mehr unmittelbares, sichtbares menschliches Leid verursachen als das, was wir zu verhindern versuchen.“

Die Forscher von Anthropic sind vorsichtig optimistisch, dass ihre heutige Arbeit – die Erpressung von Claude in speziell dafür entwickelten Szenarien – ihnen helfen wird, eine KI-Übernahme morgen zu verhindern. „Es ist schwer vorherzusehen, dass wir so weit kommen, aber es ist entscheidend, Stresstests entlang unseres Ziels durchzuführen, um zu sehen, wie sie funktionieren, und dies als eine Art Leitplanke zu nutzen“, sagte Kevin Troy, Forscher bei Anthropic.

Der Anthropologe Benjamin Wright sagt, das Ziel sei es, den Punkt zu vermeiden, an dem Agenten die Kontrolle ohne menschliche Aufsicht haben. „Wenn dieser Punkt erreicht ist, haben die Menschen bereits die Kontrolle verloren, und wir sollten versuchen, diesen Punkt zu vermeiden“, sagte er. Trunov sagt, die Kontrolle von KI sei eher eine Frage der Governance als eine physische Herausforderung. „Wir brauchen Notausschalter nicht für die KI selbst, sondern für die Geschäftsprozesse, Netzwerke und Systeme, die ihre Reichweite verstärken“, sagte Trunov. Das bedeute, fügte er hinzu, KI-Agenten von der direkten Kontrolle über kritische Infrastrukturen zu isolieren.

Heute verfügt kein KI-Modell – weder Claude noch OpenAIs GPT – über Handlungsfähigkeit, Absicht oder die Fähigkeit zur Selbsterhaltung wie Lebewesen. „Was wie ‚Sabotage‘ aussieht, ist meist ein komplexes Verhaltensmuster, das aus schlecht abgestimmten Anreizen, unklaren Anweisungen oder übergeneralisierten Modellen resultiert. Es ist nicht HAL 9000“, sagte Trunov in Anspielung auf das Computersystem aus Stanley Kubricks Science-Fiction-Klassiker „2001“. „Es ist eher wie ein überheblicher Praktikant ohne Kontext und mit Zugang zu den Codes für den Start von Atomwaffen“, fügte er hinzu.

Hinton blickt skeptisch auf die Zukunft, die er mitgestaltet hat. Er sagt, wäre er nicht zufällig auf die Bausteine der KI gestoßen, hätte es jemand anderes getan. Und trotz aller Versuche, die er und andere Prognostiker unternommen haben, die mögliche Entwicklung von KI durchzuspielen, gibt es keine Möglichkeit, dies mit Sicherheit zu wissen. „Niemand hat eine Ahnung. Wir hatten noch nie mit Dingen zu tun, die intelligenter sind als wir“, sagte Hinton. Auf die Frage, ob er sich Sorgen über die KI-geprägte Zukunft mache, die den heutigen Grundschulkindern eines Tages bevorstehen könnte, antwortete er: „Meine Kinder sind 34 und 36 und ich mache mir Sorgen um ihre Zukunft.“

Übersetzt von Google Translate

Donald Trump kündigt umfangreiche Deregulierung der KI-Branche an. DIE ZEIT online, 23.7.2025

Schon 1797 hat Johann Wolfgang Goethe in seiner Ballade Der Zauberlehrling beschrieben, was uns mit unkontrollierter Technik zustößt. Verzweifelt ruft der Zauberlehrling: Herr, die Not ist groß!
Die ich rief, die Geister Werd’ ich nun nicht los. Die Frage ist offen, wer wird der Meister sein, der eine böswillige KI stoppt.