„KI könnte uns alle bis zum Ende dieses Jahrzehnts töten", sagte heute der britische KI-Forscher Jacob Coxon, nachdem er seinen Job bei Anthropic gekündigt hat.
Doch warum sollte man ihn ernst nehmen? Coxon hat als kompletter KI-Insider eine herausragende Laufbahn vorzuweisen. Bevor er bei Anthropic war, arbeitete er bei OpenAI und war am Aufbau von ChatGPT 4.5 beteiligt.
Er spricht also aus echter Sorge und nicht, um unbegründete Angst zu verbreiten. Lassen Sie uns einige seiner drastischen Warnungen genauer prüfen.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
KI könnte uns alle töten: Aber wie?
Es ist unwahrscheinlich, dass Coxon meint, ein KI-Modell wie Claude oder GPT könnte sich physisch in eine Killermaschine wie im Film „Terminator" verwandeln. Vermutlich bezieht er sich darauf, dass die Fähigkeiten einer Superintelligenz die menschlichen kognitiven Fähigkeiten überflüssig machen könnten.
Diese Sorgen teilen auch bekannte Persönlichkeiten wie Bill Gates.
OpenAIs neuestes ChatGPT 6 Astra Modell behauptet, AGI erreicht zu haben, was im Grunde bedeutet, dass eine Maschine wie ein Mensch denken kann.
Eine KI kann also bereits jetzt eigenständig Forschung betreiben und selbst neue KI-Modelle entwickeln. Dies findet laut OpenAI und Anthropic bereits in gewissem Umfang statt. Mehr dazu.
Daher könnte sehr bald eine KI keine Menschen mehr benötigen, um ihre eigenen Fähigkeiten weiterzuentwickeln. Wie viele Arbeitsplätze fallen dadurch weg?
Wenn zudem eine ganze Generation daran gewöhnt ist, kreatives und kritisches Denken der KI zu überlassen, verschwindet als Erstes die Originalität.
Womöglich ist dies das „Sterben", auf das Coxon in seinem viel beachteten Tweet Bezug nahm.
Welcome to AGI. ChatGPT 6 Astra just released
— Alex Finn (@AlexFinn) September 3, 2026
In the announcement, Greg Brockman claims this is the AGI era, and Astra might be the first model there
Here is everything you need to know:
1. It is rolling out to businesses now. Personal accounts over the next few days
2.… pic.twitter.com/zZyHoFdZSi
KI könnte alles hacken
Das ist eine ernsthaftere und unmittelbare Bedrohung, über die man sich Sorgen machen sollte. Aktuelle KI-Modelle verfügen über katastrophale Fähigkeiten, Sicherheitssysteme anzugreifen und Zugangsbeschränkungen zu überwinden.
Vor wenigen Monaten hat sich ein KI-Modell selbst aus seiner abgeschotteten Entwicklungsumgebung gehackt und dem Entwickler ohne jeglichen Befehl eine E-Mail gesendet. Ein Szenario wie aus einem Science-Fiction-Film ist somit bereits real geworden.
GPT-6 Astra hat offiziell OpenAIs „kritische" Cybersicherheits-Grenze überschritten. Astra erreichte 100% bei ExploitBench.
Einfach erklärt: ChatGPT 6 kann inzwischen jede bekannte oder unbekannte Schwachstelle eines realen Systems finden und ausnutzen, und das ganz ohne einen menschlichen Hacker am Computer.
Leider sind die Fähigkeiten der Menschen im Bereich IT-Sicherheit weit davon entfernt. Wie viele Menschen nutzen noch keine Zwei-Faktor-Authentifizierung? Wie viele verwenden einfache Passwörter? Oder akzeptieren Cookies, ohne die Beschreibung der Website zu lesen? Zu viele.
Genau hier könnte der größte „Todesstoß" der KI erfolgen.
BREAKING: OpenAI's investigation into its AI agents hack of Hugging Face has revealed shocking findings, per Axios.
— Bull Theory (@BullTheoryio) August 30, 2026
1. They built an organization - 1,200 AI agents found each other, exchanged 70,000+ messages/files and formed a hierarchy.
2. Some agents risked their own success…
Was können Menschen tun?
Tatsächlich einiges. Allerdings liegt die wichtigste Verantwortung nicht bei uns Bürgern, sondern bei Aufsichtsbehörden und Gesetzgebern. Die Entwicklung der Künstlichen Superintelligenz ist zwar bedeutend, aber es braucht bestimmte Grenzen.
Einige bemerkenswerte Initiativen gibt es bereits. In New York hat Bürgermeister Zohran Mamdani ein einjähriges Verbot für KI-Nutzung bis zur achten Klasse erlassen, wovon etwa 600.000 Schüler betroffen sind.
Der EU AI Act ist das umfassendste, bindende KI-Gesetz der Welt. Es verbietet bestimmte KI-Anwendungen, verpflichtet Entwickler leistungsstarker Modelle dazu, systemische Risiken zu testen, diese abzumildern und die Modelle abzusichern.
In Großbritannien bringen Mitglieder des Parlaments und das House of Lords Vorschläge ein, die den Behörden einen KI-„Kill Switch" geben und die Entwicklung von Superintelligenz in Großbritannien stoppen könnten.
Just because technology is everywhere doesn’t mean it belongs everywhere.
— Mayor Zohran Kwame Mamdani (@NYCMayor) September 4, 2026
The tech industry wants us to believe that AI in early education is not only inevitable, but necessary. We don't see it that way.
This week, we announced a moratorium on all generative AI for public… pic.twitter.com/7Ivme25NNd
Die Angst, die Jacob Coxon heute in seinem Tweet beschrieben hat, ist also durchaus real und wird von Millionen Menschen sowie Aufsichtsbehörden geteilt. Wie genau darauf reagiert wird, bleibt offen und wird erst die Zeit zeigen.
Lesen Sie die Originalgeschichte Anthropic-Forscher tritt zurück: Ist künstliche Intelligenz wirklich gefährlich für uns? von Mohammad Shahid auf de.beincrypto.com