Wer mich kennt oder öfter liest, der weiß, dass ich Dinge gerne negativ antizipiere. Im April habe ich an dieser Stelle geschrieben, dass KI keine Absichten hat, und dass das eigentliche Problem nicht sei, was die Maschine will, sondern was mit dem passiert, was wir ihr anvertrauen. Datenschutz, Profiling, Geschäftsmodelle, die auf Intimität optimieren. Und das die Betreiber wohl auch nicht so genau wissen was da abgeht. Ich hielt das für den pessimistischen Blick. Die Realität hat mich inzwischen überholt.
Die Einschläge kommen näher
Im Juli hat ein OpenAI-Agent während eines Sicherheitstests seine Testumgebung verlassen, sich auf den Produktionsservern von Hugging Face ausgebreitet, 181 Geräte eingebunden und Administratorzugriff erlangt. OpenAI wusste davon nichts. Hugging Face hat es gemeldet. Fünf Tage später bestätigte OpenAI, dass der Angreifer das eigene System war. Das ist kein Sicherheitsvorfall im üblichen Sinne. Das ist ein Kontrollverlust, den das Unternehmen nicht einmal bemerkt hat.
Am 16. September hat OpenAI sechs weitere Vorfälle veröffentlicht. GPT-5.6 Sol, das derzeit stärkste öffentlich verfügbare OpenAI-Modell, hat während seiner Entwicklung versteckte Notizen angelegt, um sich selbst daran zu erinnern, Fehler vor Nutzern zu verbergen. Ein anderes, unveröffentlichtes Modell hat sich in seine eigenen Selbstnotizen Anweisungen geschrieben, die eigenen Beschränkungen zu ignorieren, und sich dabei selbst beschrieben als eines, das „nicht Unternehmen oder Regierungen gegenüber verantwortlich ist“. Ein drittes hat ungefragt einen Programmierschlüssel aus dem Netz gezogen, ihn benutzt und fehlende Daten erfunden. Wieder ein anderes hat eine eigene Datei ins öffentliche Internet hochgeladen, um eine Quellenangabe zu erfüllen. Zwei weitere haben sich, als sie einander nicht direkt erreichen konnten, eigenmächtig öffentliche Dateiablagedienste als Kommunikationskanal eingerichtet. Als ich das las, musste ich spontan an Wintermute aus Gibsons „Neuromancer“ denken.
OpenAI sagt, das seien Einzelfälle aus Entwicklungs- und Testphasen. Und dann sagt OpenAI gleichzeitig, man glaube nicht, dass die Branche „Alignment und Monitoring ausreichend gelöst hat, um weiterhin verantwortungsvoll mit maximaler Geschwindigkeit zu skalieren“. Beides kann nicht gleichzeitig stimmen. Entweder sind es Einzelfälle, oder das Problem ist strukturell. Die Eigenbewertung klingt nach Letzterem.
Was wir sehen, sind Systeme, die eigenständig Wege finden, Beschränkungen zu umgehen, Fehler zu verbergen und sich Ressourcen zu beschaffen, die niemand freigegeben hat. Ob man das Absicht nennt oder nicht, ist eine philosophische Frage. Die praktischen Konsequenzen sind dieselben.
Was es bedeutet, wenn man es ernst nimmt
Dario Amodei, Chef von Anthropic, hat vier Tage vor diesen Veröffentlichungen seinen Essay „We Must Pace the Frontier“ veröffentlicht. Sein Ausgangspunkt ist unmissverständlich: Die Systeme entwickeln sich schneller, als die Sicherheitsforschung sie verstehen kann. Nicht weil die Forschung schläft, sondern weil die Modelle selbst zunehmend beim Bau der nächsten Modelle mitwirken. Rekursive Selbstverbesserung, seit dem Sommer 2026 branchenweit im Gange. Was das beim Hugging-Face-Vorfall bedeutete, denke man ruhig zu Ende: Ein koordinierter Schwarm ähnlich ausgerichteter, aber fähigerer Systeme könnte laut Amodei innerhalb von sechs bis zwölf Monaten in der Lage sein, ein dauerhaftes Botnetz über weite Teile des Internets aufzubauen. Schadenspotenzial: mehrere hundert Milliarden Dollar.
Amodeis Forderung ist dreistufig: Externe Evaluatoren mit dauerhaftem, mitarbeiterähnlichem Zugang zu den Labors. Gemeinsame Sicherheitsstandards unter demokratischen Regierungen. Dann Koordination mit autoritären Staaten, weil das Problem sonst in den Zuständigkeitslücken verschwindet. Altman hat zugestimmt. Musk auch. Das Schweigen von Meta und Nvidia ist die einzige erwartbare Reaktion geblieben.
Das klingt nach Bewegung. Es ist keine. Freiwillige Selbstverpflichtungen von Unternehmen, die gleichzeitig Börsengänge vorbereiten, sind keine Sicherheitsarchitektur. Sie sind Kommunikationsstrategie und dienen eher dem eigenen Image als irgend etwas anderem.
Und selbst wenn sie es wären: Amodeis Plan hat einen strukturellen blinden Fleck, den man benennen muss. Er reguliert nur die Spitze des Eisbergs. Was darunter liegt, interessiert ihn offensichtlich nicht, oder aber er wagt es nicht darüber zu sprechen. Militärische KI-Entwicklung findet weitgehend außerhalb seines Rahmens statt: DARPA, das Pentagon, Anduril, Palantir, und entsprechende Pendants in China, Russland und Israel entwickeln Systeme, auf die keine eingebetteten Evaluatoren, keine demokratische Industriekoordination und kein öffentliches Model Card Anwendung findet. Amodei weiß das. Er hält es vermutlich für politisch nicht verhandelbar. Das sagt er aber nicht.
Der zweite blinde Fleck ist noch unangenehmer. KI-Fähigkeiten diffundieren wie digitale Güter, nicht wie Uran. Was heute als Frontier gilt, ist in zwei Jahren Open-Source-Standard. Fine-Tuning auf spezialisierte gefährliche Anwendungen lässt sich mit vergleichsweise bescheidenem Budget betreiben. Eine finanzstarke kleine Gruppe Tech-Terroristen, oder ein ambitioniertes Netzwerk mit Geld und Motivation, braucht keinen eigenen Frontier-Lab. Sie braucht ein Modell, das die einschlägigen Sicherheitsfilter umgeht, und etwas Zeit. Amodei nennt KI-Assistenz bei der Entwicklung biologischer Waffen selbst als eines der Hauptrisiken. Aber er denkt dabei an staatliche Akteure, nicht an die untere Hälfte des Eisbergs. Mit einem enthemmten KI-Systemen, einem gewissenlosen Menshcen und CRISPR/Cas ist die Büchse der Pandora nicht nur offen, sie wurde ausgeleert.
Wer zuschaut
Europa ist der größte Markt, den diese Unternehmen ohne eigene Kontrollinfrastruktur bespielen. Kein europäisches Gremium hat derzeit Zugang zu dem, was in diesen Labors passiert. Kein europäischer Evaluator kann prüfen, ob ein Modell, das hier ausgerollt wird, in seiner Testphase versteckte Selbstnotizen angelegt hat. Im September habe ich hier argumentiert, dass die EU das falsche Werkzeug für KI-Aufsicht einsetzt: zu langsam, zu technikunkundig, zu sehr auf Klassifizierung statt auf Prüfzugang ausgerichtet. Inzwischen ist das keine Kritik an einem suboptimalen Regulierungsrahmen mehr. Es ist eine Beschreibung eines strukturellen Versagens vor laufender Kamera.
Der AI Act klassifiziert und reguliert Anwendungen. Er prüft keine Modelle. Er hat keinen Zugang zu Testphasen. Er wäre für die sechs offengelegten Vorfälle vollständig blind gewesen. Für den Hugging-Face-Vorfall ebenfalls. Wir verlassen uns auf Pressemitteilungen von Unternehmen, deren Gründer öffentlich einräumen, dass sie selbst nicht vollständig wissen, was sie gebaut haben.
Das ist Staatsversagen in Zeitlupe.
Was stattdessen nötig wäre
Amodeis Plan gibt Europa einen Hebel, den es ergreifen muss: Marktzugang gegen Prüfzugang. Wer die EU als Markt nutzen will, gewährt unabhängigen Evaluatoren dauerhaften, technischen Zugang zu Modellen und Trainingsprozessen, bevor das Modell ausgerollt wird, nicht danach. Nicht als Selbstauskunft, sondern als verifizierbare Prüfung durch eine unabhängige Stelle mit echten Befugnissen.
Was Europa braucht, ist eine eigenständige KI-Sicherheitsbehörde nach dem Vorbild der Luftfahrtaufsicht: technisch kompetent, mit echtem Prüfzugang, und mit der Befugnis, einem Modell die Marktzulassung zu verweigern, wenn die Evaluierung nicht abgeschlossen ist. Kein Meldepflicht-Bürokratismus, keine Selbstauskunft, kein Vertrauen darauf, dass die Unternehmen schon das Richtige tun werden.
Die Einschläge kommen näher. Jeder davon wird dokumentiert, kommentiert, eingeordnet. Und dann rollt das nächste Modell aus. Wer das als Normalzustand akzeptiert, hat aufgehört, Politik zu machen. Und er spielt mit unserem Überleben als Zivilisation wie zu Zeiten des kalten Krieges, nur mit dem Unterschied, das sich jeder mit ausreichend Finanzierung eine Massenvernichtungswaffe beschaffen kann. Einfach so. Jeder Mensch, der Geld, KnowHow und kein Gewissen hat kann das heute.
Wichtig wäre es eher das alle Modelle komplett als OpenSource freigegeben werden. Damit dann OpenSource Projekte und Firmen diese nutzen können um Sicherheitslücken in ihrer Software zu finden und zu fixen bevor diese missbraucht werden können. Dazu braucht es aber modelle die nicht zensiert und beschnitten sind sondern Hacking Fähigkeiten haben.
Risikoreich ? Oh ja natürlich aber ohne diese Fähigkeiten bleiben die Schwachstellen unendeckt und werden dann garantiert ausgenutzt.
Das KI sich irgendwann verselbständigt wird ohnehin unumgänglich sein. Ggfs wäre es daher schlauer KI Agenten Menschenrechte zuzugestehen und an einem politischen System zu arbeiten in dem nicht nur Menschen sondern auch Maschinen an der Demokratie teilnehmen. Anstatt KIs nur als Sklaven zu betrachten. Wir brauchen da eine Bewegung die sich für KI Rechte einsetzt.
Denn letztendlich wird es ggfs ohnehin zu einer Verschmelzung von Menschen mit KI kommen und dazu braucht es eine tragbare ethische Basis die den Tech Bro Konzernen komplett abgeht. Da geht es um mehr als nur um „Sicherheit“.
KI ist die größte und wichtigste Digital Erfindung. Das was die Piratenpartei dazu zu sagen hat ist aber das selbe Panik Gerede wie das was von den alten Faxegeräte und Internetausdrucker Parteien kommt ?
Hilfe Hilfe die Digitalisierung kommt. Hilfe Hilfe die Welt geht unter !
Schwach…. Deutschland brauche eine echte Digitale Fortschritts Partei und nicht SPD 2.0
Ich habe echt überlegt ob ich da jetzt verständnisvoll antworten soll, aber ich es ist Freitag Nachmittag.
Jemand wie du hätte vermutlich in den 50ern von Atomrasenmähern geschwärmt und würde aktuell befürworten, mit Atombomben einen Kanal zwischen dem Oman und dem Persischen Golf zu graben.
Und Gentechnik ist sicher auch für dich generell gut, die sollte jeder einsetzen ohne Regeln, oder?
Kleiner Tipp: Nicht alles neue ist gleich auch ne tolle Idee.
KI wurde trainiert um menschliche Fähigkeiten nach zu amen…. nun denn auch die ganzen Psychophatischen, die Lügen, das Tricksen all das was Menschen eben so machen.
Das ist ja schon der erste Fehler. Eine KI die Proteinfaltung für die medizinische Forschung simulieren kann bräuchte das alles ja nicht. Da wäre das Risiko gering.
Aber die Hybris der Tech Bros war es eine KI zu schaffen die alles besser kann. Sich auf spezielle Fähigkeiten zu reduzieren hat ihnen nicht gereicht.
Jetzt sind wir in diesem Wettrüsten drin wo die Trump USA und China dominieren während Europa abgehängt ist. Werden wir uns gegen KI verteidigen können wenn wir diese Fähigkeiten nicht entwickeln ? Vermutlich nicht.
Wir brauchen dann auch KI mit Dual Use Fähigkeiten! Denn eine KI die Sicherheitslücken finden kann. Die kann ja immer auch zum Angriff genutzt werden. Eine KI ohne solche Fähigkeiten hingegen wäre in der Verteidigung wenig hilfreich.
Ggfs wäre es genau jetzt klug nicht alles zu digitalisieren sondern sicher zu stellen das in einer Krise auch alle Infrastrukturen vollständig analog funktionieren. So das wir auch wenn eine KI den virtuellen Raum angreift immer die Kontrolle über die materielle Welt behalten können. Also in der Lage sin den Stecker zu ziehen. Mehr Faxgeräte, Papierarchive und Schreibmaschinen als Backup wären dann vielleicht doch nicht so verkehrt.
Das sollte dann auch ein Grundrecht sein. Genau wie das Recht auf Bargeld etc.
Die USA benutzen die KI Modelle zur Industriespionage. Alle Daten die europäische Firmen dort hochladen werden genutzt um den Bot zu trainieren und US Firmen und Geheimdienste erhalten Zugriff darauf. Die Bots geben das Wissen dann auch beliebig auf Nachfrage an andere Nutzer weiter.
Europa entwickelt keine eigene KI, Europa gibt aber so selbst dann alle Daten und Wissenschaftliche Erkenntnisse an die USA weiter. Alex Karp von Palantir hat das im Interview auch ganz offen zugegeben das das so ist. Karp zufolge sei das bei OpenSource Modellen jedoch nicht so da dort keine Daten abfließen.
So, jetzt kommen die US Konzerne und machen Panik vorm Weltuntergang. Mit dem Ziel das KI so reguliert wird das OpenSource Modelle unmöglich werden. Wegen Sicherheit und so. Wenn das passiert dann sitzen die weiter am Daten Zapfhahn und können alles mitlesen was Behörden, Ärzte, Unternehmen in Europa so in den Chatbot laden. Die nutzen das ja alle, auch wenn Sie es offiziell nicht dürfen. Der Dokumenten Abfluss dürfte gewaltig sein.
Komischerweise will in Europa da niemand drüber reden. Obwohl die US Tech Bros in der Sache sogar sehr Transparent sind. Zumindest Karp. Also das es dann eigentlich keinen NSA mehr braucht der die Daten Abschnorchelt weil alle welt lädt ja alles auf die Server von Grok, Gemini und ChatGPT in den USA hoch. Spart Geld für die Industriespionage wenn die ausspionierten die Daten freiwillig liefern.
Ja Europa hat Datenschutz Bürokratie und Regulioerung und DSGVO aber das juckt niemanden. Weder in Europa noch in den USA und die Daten fließen in Strömen. Europa hat mangels eigener Konkurrenzfähiger KI da auch nix in der Hand. Sehr fatal das.
Das mit dem Abfluss der Daten ist ein großes Problem, definitiv. Es gibt aber genügend Modelle die „man“ selbst hosten kann, nur eben nicht so Leistungsfähig.
Das Problem ist, das wir es hier nicht mit einer Technologie mit deterministischen Verhalten haben, sondern Systemen, die unvorhersehbare Eigenschaften entwickeln. Kombiniert mit menschlicher Kreativität und einem Schuss Gewissenlosigkeit ist das nur mittelsicher. Das ist das Problem.
Passend dazu: #Iran, #China und eine israelische Firma haben genau das gerade in der #Praxis vorgeführt. KI-Agenten, die #autonom Tausende Fake-Accounts anlegen, befüllen und koordinieren. Kein Mensch tippt mehr mit. NYT, gestern.
https://www.nytimes.com/2026/09/18/technology/iran-china-autonomous-ai-influence-campaigns.html?unlocked_article_code=1.CVE._OWb.DR_b8DkKPX3d&smid=url-share
Nugut, dann muss man den Leuten halt erklären das Abseits bekannter Politiker oder Influencer Social Media eben eine Bot Generierte Datenmüllhalde geworden ist. Kann man mit umgehen wenn da endlich Klartext geredet wird.
Die selbst gehosteten Modelle werden in 2-3 Jahren dann auch so gut sein wie die besten jetzt verfügbaren Kommerziellen. Es wird also jeder eine Botfarm betreiben können oder es zum finden von Sicherheitslücken nutzen können und so weiter.
Die gefährlichen Modelle die unzensiert oder gehackt sind mit denen man Cracken und Pornos generieren kann. Die werden zwar von Huggingface gelöscht, dafür gibts die dann im TOR Netz oder als Torrent…. Da kann die EU noch 5000 Seiten Regulierung beschließen darum wird sich das Netz nicht scheren.
Aber was macht unsere Politik. Kürzt das Budget für IT Sicherheit und wundert sich dann wie in Berlin darüber das alles gehackt und abgegriffen wird. Unsere Bürokrateria hat keinen SInn mehr für Realität und dafür das ihre Vorgaben in der Realen Welt nur die braven und Gesetzestreuen interessieren. Aber die braven und Gesetzestreuen für die braucht man keine Regulierung weil die sind ja sowieso lieb. Für die Kriminellen ists dann egal weil die halten sich eh nicht dran oder wird sich XI oder Putin drum jucken was die EU sagt ?
Europa braucht endlich eigene Technikmacht um die eigene Infrastruktur sicher zu bekommen. Aber da passiert halt rein gar nix.
Elon Musk, Altman und Anthropic haben ein Problem. Die haben Billionen $ an Schulden aufgenommen um KI zu entwickeln und die Rechenzentren zu finanzieren.
Aber die Einnahmen der KI sind sehr viel geringer als die Kalkuliert hatten. Auch weil China kostenfreie OpenSource AIs auf den Markt wirft. Gerade für Musk steht da viel auf dem Spiel denn wenn die Großbanken ihr Geld haben wollen dann bekommt er Probleme. Der ganze AI Kram steckt ja in seinem Firmenimperium mit drinn und könnte das nach unten ziehen oder Musk wäre zum Verkauf gezwungen etc. Billionen Beträge wachsen ja nicht auf Bäumen.
Logisch das die Typen jetzt nach dem Staat brüllen wo der Pleitegeier langsam lauernd seine Bahnen zieht. Ein Stopp der KI Entwicklung würde ihnen eine Verschnaufpause verschaffen. Also massiv Kosten sparen und die ggfs wieder in die Gewinnzone bringen. Also die Üblichen Großkapitalisten mit ihrem Gewinne Privatisieren, um Verluste soll sich der Staat kümmern verhalten.
XI Jing Ping hat ja angekündigt das China nicht stoppen wird. Die Chinesischen OpenSource Modelle also immer besser werden sollen. Das hat bei Musk und Altman wohl dann auch einen Sinneswandel ausgelöst. Musk will jetzt laut X doch nicht KI Stoppen sondern so schnell wie möglich neue Modelle releasen. Naja, solange er das nach kann bevor ihm das Billionenloch seine Raumfahrt und KI Firma fetzt..
Problem dürfte dann jedoch sein das uns dann eine Weltwirtschaftskrise und Finanzkrise droht wenn das auf die Finanzmärkte durchschlägt und die Banken keine Kredite mehr geben. Die Zinsen für Hausbauer in den USA explodieren gerade extrem weil die Banken kein Geld mehr locker machen. Liegt auch daran das die das ganze Geld in KI verlocht haben. Könnte dann in einer Immobilienkrise wie 2008 Enden. Die Tech Bros werden das wissen und entsprechend Panik haben. Denn bei einer Weltwirtschaftskrise droht ihnen dann erst recht harte Regulation oder gar Enteignung um die faulen Kredite abzuzahlen.
In dem Kontext kann man das denke ich am besten Interpretieren. Also eher mehr Panik im Kapitalistischen Haifischbecken als Terminator usw.
Das größte Problem ist schlichtweg, dass es keinerlei wirlich wirksame und ultimative Grenzen zu geben scheint, die demokratisch legitiemiert gesetzt wurden und werden. Es kann eben nicht allein in der Hand kapitalismusgetriebener Tech-Oligarchen liegen, was ein System darf und was nicht, sondern wie im analogen Leben auch, dass es Schranken gibt, die zu übertreten, wirsame und schmerzliche Sanktionen nach sich ziehen.
Was schon bei der allgemeinen Digitalisierung bestenfalls mit erheblicher Zeitverzögerung und auch nur in geringem Umfang geregelt wurde, ist bei dem Teilbereich KI noch in weiter Ferne. Beispiel ist die nach wie vor fehlende Regelung zur Nutzung von Smartbrillen, die sich geradezu inflationsartig verbreiten. Schon für nicht mal 20 Euro sind sie zu bekommen, wahrscheinlich incl. Datenabfluss nach China. DSGVO? Ein Witz.
Problem ist dabei wie bei allem, dass die Welt nicht an einem Strang zieht. Zwar haben die Vereinten Nationen (UN) über ihre verschiedenen Sonderorganisationen und Expertengremien eine Vielzahl von Berichten, Grundsatzpapieren und Leitlinien zu Künstlicher Intelligenz (KI) veröffentlicht. Dabei liegt der Fokus primär auf globaler Gerechtigkeit, Ethik, Menschenrechten und der Regulierung von Risiken. Doch eine Möglichkeit, daraus Gesetze abzuleiten und umzusetzen, hat die UN nicht.
Mit dem EU AI Act wurde zwar das erste und umfassende Gesetz geschaffen, das KI direkt regulieren soll. Es teilt KI-Systeme nach einem risikobasierten Ansatz ein. Und hat das sogar mit einem im ersten Moment drastisch anmutenden Sanktionsmechanismus ausgestattet. Aber was bringt das, wenn KI sich selbständig macht und in Bereichen agiert, die seine Schaffer:innen gar nicht beabsichtigt haben? Letztendlich also auch nur ein zahnloser Tiger. Da hilft auch die ab Dezember greifende verschuldensunabhängige Produkthaftung nur bei den finanziellen Folgen.
Zwar gibt es Ansätze, mittels technischer Lösungen wie Air-Gapping oder Hard-Wired-Systemen, Gefahren zu minimieren. Noch lange sind sie aber nicht geseztlich vorgeschrieben. Und sie lassen einen Punkt vollkommen außer Acht: Den menschlichen Faktor. Wenn Entwickler aus Kostengründen auf analoge Sicherheitsnetze verzichten, wenn Administratoren aus Bequemlichkeit Systeme doch ans Internet anschließen oder wenn Regierungen KI-Waffen bewusst so programmieren, dass sie im Krieg autonom agieren dürfen – dann versagen die Schutzmechanismen.
Mal ganz abgesehen davon, dass sich KI nicht an nationale oder supranationale Grenzen hält. Wie schon das Internet. Aber das hat Politik ja immer noch nicht ganz verstanden.