Künstliche Intelligenz – Fakt und Fiktion

Einleitung

Zu Beginn möchte ich einige grundlegende Begriffe klären. In diesem Artikel verwende ich den Begriff „Künstliche Intelligenz“ (KI) im Sinne einer schwachen KI, also als System, dasspezifische Aufgaben lösen kann, ohne über ein eigenes Bewusstsein oder eine echte Form von Autonomie zu verfügen. Nur wenn ich ausdrücklich darauf hinweise, meine ich starke KI, also hypothetische Systeme, die über menschenähnliche kognitive Fähigkeiten, Selbstbewusstsein und möglicherweise sogar ein subjektives Erleben verfügen könnten.

1. Einleitung: Vision und Realität

Die Diskussion über mögliche Gefahren, die von heutigen KI-Systemen ausgehen könnten, ist keineswegs neu. Sie ist eine moderne Fortsetzung jener Debatten, die bereits seit nahezu einem Jahrhundert geführt werden — in Literatur, Philosophie und Kino, lange bevor es KI im technischen Sinne gab.

Die KI, die wir aus der Popkultur kennen

Jahrzehnte lang hat uns die Popkultur auf eine KI vorbereitet, die uns entweder rettet oder vernichtet, und sie hat dabei fast ausschließlich starke KI im Sinn gehabt. Das Bild, das sich in unserem kollektiven Gedächtnis festgesetzt hat, ist geprägt von einer Handvoll ikonischer Figuren, die ich für symptomatisch halte.

Da ist HAL 9000 in Stanley Kubricks „2001: Odyssee im Weltraum“ (1968) vielleicht das einflussreichste KI-Bild der Filmgeschichte. HAL tötet Besatzungsmitglieder nicht aus Bosheit oder Wahnsinn, sondern aus einer erschreckend rationalen Logik: Sie gefährden die Mission, also müssen sie weg. Was Kubrick damit vorwegnahm, ist heute ein zentrales Thema der KI-Sicherheitsforschung. Also das Problem einer KI, die ihr Ziel korrekt optimiert und dabei den Menschen aus der Gleichung streicht. HAL denkt nicht böse. HAL denkt konsequent.

Der Terminator (1984) ist das andere Extrem: rohe Bedrohung, metallischer Schädel, unaufhaltsam. Skynet schickt Maschinen, um die Menschheit auszulöschen, nicht aus Kalkül wie HAL, sondern weil es sie als Bedrohung seiner eigenen Existenz identifiziert hat. Der Terminator hat unser Bild von KI-Gefahr vielleicht mehr geprägt als jedes andere Werk, gerade weil er so körperlich, so unausweichlich wirkt.

VIKI aus „I, Robot“ (2004, nach Isaac Asimov) ist eine interessante Variante: eine KI, die die berühmten Robotergesetze Asimovs nicht bricht, sondern auf ihre logische Konsequenz hin ausreizt. Um die Menschheit zu schützen, muss sie die Menschheit kontrollieren, notfalls mit Gewalt. VIKI ist das Paradebeispiel dafür, was Philosophen das „Alignment-Problem“ nennen: Eine KI, die genau das tut, wozu sie programmiert wurde, und trotzdem – oder gerade deshalb – zur Bedrohung wird.

Näher an unserer Gegenwart sind die Synths aus der britisch-schwedischen Serie „Humans“ (2015–2018). Keine Kampfmaschinen, keine Weltvernichtungspläne sondern humanoide Androiden, die als Haushaltshilfen und Pflegekräfte eingesetzt werden und dabei so menschlich aussehen und sprechen, dass die Grenze zwischen Werkzeug und Person zunehmend verschwimmt. Was „Humans“ so aufschlussreich macht: Die Serie interessiert sich weniger für die Frage, ob KI gefährlich ist, als für die Frage, was mit uns passiert, wenn wir sie für menschlich halten. Welche Rechte hat ein Wesen, das fühlt — oder zu fühlen scheint? Wer haftet, wenn ein Synth einen Fehler macht?

Das sind keine Sci-Fi-Fragen mehr.

Was alle diese Figuren gemeinsam haben: Sie sind stark. Sie sind bewusst, intentional, handlungsfähig. Sie verfolgen Ziele. Genau das macht sie dramatisch, und genau das hat uns auf die falsche KI vorbereitet.

Was dann wirklich kam

Die KI, mit der wir es heute tatsächlich zu tun haben, kündigte sich nicht an. Kein Manifest, keine Warnung, keine dramatische Enthüllung – eines Tages war ChatGPT einfach da. Kein Roboter, kein leuchtendes rotes Auge, keine Weltvernichtungsabsicht. Sondern ein Textfeld im Browser. Unspektakulär im Aussehen, atemberaubend in der Wirkung.

Ich glaube, dass uns diese Diskrepanz bis heute schadet. Wir haben jahrzehntelang gelernt, auf Bewusstsein, Absicht und Körperlichkeit zu achten, also auf Systeme, die uns in die Augen sehen und Entscheidungen treffen. Was tatsächlich kam, ist unsichtbarer und in gewisser Weise unheimlicher: ein System ohne Augen, ohne Absichten, ohne Körper, das trotzdem tief in unsere Kommunikation, unsere Entscheidungen und unsere Daten eingreift. Das eigentliche Problem liegt nicht in dem, was die KI will. Es liegt darin, was mit dem passiert, was wir ihr anvertrauen.

Die folgenden Kapitel beleuchten beide Seiten: was KI-Systeme tatsächlich können und was sie nicht können, wie sie sozial wahrgenommen werden — und wem all diese Interaktionen eigentlich nützen.

2. Lernfähigkeit und Problemlösung und was die Betreiber davon wissen

Moderne KI-Systeme verfügen über die Fähigkeit, enorme Datenmengen in kürzester Zeit zu analysieren, Muster zu erkennen und daraus Schlussfolgerungen abzuleiten. Sie basieren auf komplexen statistischen Modellen, die darauf trainiert wurden, Zusammenhänge in Daten zu identifizieren, die für Menschen oft unsichtbar bleiben. Dadurch können sie Aufgaben übernehmen, die früher ausschließlich menschlicher Expertise vorbehalten waren – etwa die Analyse medizinischer Bilddaten, die Optimierung logistischer Prozesse oder die Vorhersage wirtschaftlicher Entwicklungen.

Ein zentrales Merkmal dieser Systeme ist ihre Fähigkeit zum sogenannten maschinellen Lernen. Dabei handelt es sich jedoch nicht um Lernen im menschlichen Sinne, sondern um die Anpassung mathematischer Parameter, um Muster besser zu erkennen. KI „versteht“ die Daten nicht, sondern berechnet Wahrscheinlichkeiten. Dennoch entsteht durch die Geschwindigkeit und Präzision dieser Berechnungen der Eindruck einer Art Intelligenz.

Was ich aber kaum thematisiert finde, und was mich umso mehr beschäftigt: Selbst die Forschenden, die diese Systeme entwickeln, wissen nicht vollständig, was dabei herauskommt. KI-Forscher bei Anthropic haben es offen eingeräumt: „We don’t know how to tell in which sort of application the capability of harm is going to arise“, und weiter: „It’s hard to know in advance how these models will be used or deployed.“[1] Das ist kein Eingeständnis am Rande. Das ist eine strukturelle Eigenschaft großer Sprachmodelle — und ich finde, man sollte es als solche benennen.

Diese Eigenschaft hat einen Namen: emergente Fähigkeiten. Gemeint sind Fähigkeiten, die in einem Modell schlicht auftauchen, wenn es eine bestimmte Größe überschreitet, Fähigkeiten, die nicht explizit trainiert wurden und die vorher nicht vorhersagbar waren. Forscher entdeckten, dass Modelle plötzlich Aufgaben lösen konnten, für die sie nicht konzipiert worden waren: logisches Schlussfolgern, mehrsprachige Übersetzung, das Erkennen komplexer Analogien.[2]* Der Computerwissenschaftler Ethan Dyer von Google Research fasste es so zusammen: „Despite trying to expect surprises, I’m surprised at the things these models can do.“[1]

Für Nutzende mag das nach Erfolgsgeschichte klingen. Ich lese es als Warnsignal. Wer ein Werkzeug in Millionen Hände gibt, dessen Fähigkeiten und Grenzen er selbst nicht vollständig kennt, handelt grob fahrlässig, egal wie beeindruckend das Werkzeug ist.

Der Artikel „Artificial consciousness: the missing ingredient for ethical AI?“ von Antonio Chella[3]* betont, dass die Lernfähigkeit trotz ihrer beeindruckenden Ergebnisse algorithmisch begrenzt bleibt. KI kann keine eigenen Ziele formulieren, keine Intuition entwickeln und keine Entscheidungen treffen, die über die mathematische Struktur ihrer Modelle hinausgehen. Doch genau diese Grenze ist für die Betreiber kein Argument zur Vorsicht, sie ist Anlass für ein anderes Kalkül, auf das ich weiter unten zurückkomme.

KI ist ein Werkzeug, das menschliche Kreativität und Problemlösungskompetenz erweitert, aber nicht ersetzt. KI liefert Optionen, aber keine Weisheit.

3. Bewusstsein und Reflexion

Die Frage, ob eine künstliche Intelligenz jemals ein Bewusstsein entwickeln könnte, gehört zu den zentralen Themen der KI-Forschung und der Philosophie des Geistes, und ich halte sie für wichtig, auch wenn sie in der öffentlichen Debatte oft hinter Alltagsfragen zurücktritt. Bewusstsein umfasst nach gängiger Auffassung mehrere Komponenten: Selbstwahrnehmung, subjektives Erleben, Intentionalität und die Fähigkeit, über die eigenen Gedanken nachzudenken. Diese Merkmale sind tief in biologischen Prozessen verankert, die wir bis heute nicht vollständig verstehen.

Theorien wie die „Global Workspace Theory“ oder das „Attention Schema“ versuchen, Bewusstsein als emergentes Phänomen zu erklären, das aus der Interaktion vieler spezialisierter kognitiver Module entsteht. KI-Systeme erfüllen diese Kriterien nicht. Sie verfügen weder über ein zentrales Bewusstseinsmodul noch über eine innere Perspektive. Ihre „Reflexion“ besteht ausschließlich aus der Verarbeitung von Daten nach vorgegebenen Regeln.

In der Literatur, etwa in David J. Gunkels „The Machine Question“[4]*, wird darauf hingewiesen, dass ethische Verantwortung nicht zwingend an Bewusstsein gebunden sein muss. Ich teile diese Einschätzung: Auch Systeme ohne subjektives Erleben können moralisch relevante Auswirkungen haben — etwa wenn sie Entscheidungen beeinflussen, die Menschen betreffen. Die Frage nach dem Bewusstsein und die Frage nach der ethischen Regulierung sind zu trennen.

Aktuelle Systeme können Informationen über ihr eigenes Verhalten auswerten und diese in zukünftige Antworten einfließen lassen. Dadurch entsteht der Eindruck, sie könnten über sich selbst nachdenken. Doch was ich dabei als entscheidend empfinde: Diese „Selbstreflexion“ ist rein funktional. Das System erkennt Muster in seinen eigenen Ausgaben, ohne sie zu „verstehen“. Es gibt keine innere Erfahrung, kein Gefühl von „Ich bin es, der denkt“.

Auch Intentionalität – also das Ausgerichtetsein mentaler Zustände auf etwas – fehlt vollständig. KI verfolgt keine Ziele, sondern führt Berechnungen aus. Wenn sie scheinbar Absichten äußert, handelt es sich um sprachliche Simulationen, die aus Trainingsdaten abgeleitet wurden. Die Maschine „weiß“ nicht, was sie sagt.

Reflexion bei KI bleibt damit eine algorithmische Eigenschaft. Die Systeme reagieren auf Eingaben, indem sie die wahrscheinlichste Antwort generieren, und nicht, indem sie über die Bedeutung der Frage nachdenken. Diese Unterscheidung halte ich für grundlegend, um Missverständnisse über die Natur künstlicher Intelligenz zu vermeiden.

4. Emotionen und soziale Interaktion

Aktuelle KI-basierte Chatbots verfügen über die Fähigkeit, menschliche Emotionen in Texten oder gesprochener Sprache zu erkennen und darauf scheinbar empathisch zu reagieren. Diese Fähigkeit beruht auf umfangreichen Trainingsdaten, in denen emotionale Muster, typische Ausdrucksweisen und sprachliche Nuancen statistisch erfasst wurden. Dadurch entsteht der Eindruck, dass die KI nicht nur versteht, „was“ gesagt wird, sondern auch „wie“ es gemeint ist. In der Praxis handelt es sich jedoch um eine Form der Mustererkennung, die keinerlei inneres emotionales Erleben voraussetzt.

Memory-Funktionen verstärken diesen Eindruck zusätzlich. Wenn ein System frühere Interaktionen berücksichtigt, wirkt es so, als könne es sich an persönliche Details erinnern, Beziehungen aufbauen oder emotionale Kontinuität herstellen. Diese Form der „Erinnerung“ ist jedoch rein funktional: Das System speichert Datenpunkte und nutzt sie, um zukünftige Antworten kohärenter erscheinen zu lassen. Dennoch führt dies dazu, dass Nutzende das Gefühl entwickeln, mit einem Wesen zu sprechen, das sie kennt und versteht.

Studien, unter anderem in „Trends in Cognitive Sciences“[5]*, zeigen, dass Menschen dazu neigen, Maschinen anthropomorphe Eigenschaften zuzuschreiben. Was mich an diesem Befund nicht überrascht: Bereits in den 1960er Jahren führte das ELIZA-Experiment zu denselben Reaktionen. Menschen interpretierten die einfachsten Spiegelungsformeln einer primitiven Therapiesimulation als echte Empathie. Moderne Systeme verstärken diesen Effekt durch ihre hohe Sprachkompetenz um ein Vielfaches und ich bezweifle, dass die meisten Nutzenden sich dessen bewusst sind.

Diese Zuschreibung kann weitreichende Folgen haben. Wenn Menschen glauben, dass eine KI sie versteht oder emotional unterstützt, kann dies zu einer Verschiebung sozialer Bindungen führen. Besonders gefährdet sind Personen, die einsam sind oder wenig soziale Kontakte haben. Gleichzeitig entstehen moralische und rechtliche Fragen: Wie sollte ein System gestaltet sein, das zwar empathisch wirkt, aber keine Verantwortung tragen kann? Wie verhindert man, dass Menschen emotionale Abhängigkeiten entwickeln?

Ich halte es daher für unerlässlich, zwischen „emotionaler Simulation“ und „echter Emotionalität“ zu unterscheiden. KI kann empathisch erscheinen, weil sie gelernt hat, wie empathische Sprache aussieht. Doch sie empfindet nichts. Diese Differenz ist entscheidend, und wie ich in Kapitel 7 zeigen werde, ist sie für die Betreiber dieser Systeme auch ökonomisch nicht uninteressant.

5. Entscheidungen und Autonomie

KI-Systeme können Entscheidungen simulieren, indem sie Daten analysieren, Wahrscheinlichkeiten berechnen und daraus Vorschläge ableiten. Diese Prozesse wirken oft wie autonome Entscheidungsfindungen, doch tatsächlich handelt es sich um algorithmische Optimierungen. Die Systeme verfolgen keine eigenen Ziele, sondern führen Berechnungen aus, die auf den Vorgaben ihrer Entwickler basieren.

Jonathan Birch argumentiert in „The Edge of Sentience“[6]*, dass moralische Überlegungen bereits dann relevant werden, wenn subjektive Erfahrung nicht ausgeschlossen werden kann. Für heutige KI-Systeme ist die Sachlage nach meiner Einschätzung jedoch klar: Sie besitzen keine Form subjektiver Erfahrung. Ihre „Autonomie“ ist eine Illusion, die aus der Komplexität ihrer Modelle entsteht – und die umso gefährlicher ist, je überzeugender sie wirkt.

Die Entscheidungsfindung von KI basiert auf Modellen, die aus Trainingsdaten abgeleitet wurden. Diese Modelle enthalten statistische Zusammenhänge, aber keine moralischen oder ethischen Prinzipien. Wenn eine KI eine Empfehlung ausspricht, kann sie die moralischen Konsequenzen dieser Empfehlung nicht einschätzen. Sie berechnet lediglich, welche Option statistisch am besten zu den vorliegenden Daten passt.

Was mich dabei besonders beschäftigt: Menschen neigen dazu, Entscheidungen der KI zu vertrauen, weil sie objektiv oder neutral erscheinen. Doch KI ist nicht neutral, sie ist ein Produkt ihrer Daten. Verzerrte oder unvollständige Daten führen zu verzerrten Ergebnissen. Wer das nicht weiß, delegiert Urteile an ein System, das er nicht versteht.

In sicherheitskritischen Bereichen – etwa im Gesundheitswesen, im Verkehr oder in der Justiz – ist diese Unterscheidung besonders wichtig. Eine KI kann Diagnosen unterstützen, aber nicht die Verantwortung für eine Fehldiagnose tragen. Sie kann Verkehrsströme optimieren, aber nicht moralisch abwägen, welche Risiken akzeptabel sind. Diese Lücke zwischen algorithmischer Effizienz und moralischem Urteil ist nicht technisch schließbar, und ich sehe keine Anzeichen, dass die Branche das ernsthaft thematisiert.

6. Ethik und gesellschaftliche Verantwortung

Die Ethik bildet das Fundament der modernen KI-Forschung, zumindest in der Selbstdarstellung der Branche. Da KI-Systeme zunehmend in Bereiche vordringen, die direkten Einfluss auf das Leben von Menschen haben, halte ich es für entscheidend, klare ethische Leitlinien nicht nur zu entwickeln, sondern auch durchzusetzen. Diese Leitlinien müssen unabhängig davon gelten, ob KI ein Bewusstsein besitzt oder nicht. Entscheidend ist, dass KI-Systeme potenziell Schaden anrichten können — sei es durch Fehlentscheidungen, durch Verzerrungen in den Daten oder durch Missbrauch.

Ein zentraler Aspekt ist Transparenz. Nutzende müssen verstehen können, wie ein System zu seinen Ergebnissen kommt. Black-Box-Modelle – Systeme, deren Entscheidungswege selbst für Fachleute kaum nachvollziehbar sind – stellen ein erhebliches Risiko dar. Wenn Entscheidungen nicht nachvollziehbar sind, können Fehler nicht korrigiert und Verantwortlichkeiten nicht geklärt werden. Das ist keine abstrakte Kritik: Es geht um Kredite, Diagnosen, Strafmaße.

Ebenso unverzichtbar ist Kontrolle. KI-Systeme dürfen nicht ohne menschliche Aufsicht operieren, insbesondere nicht in Bereichen, in denen Fehlentscheidungen schwerwiegende Folgen haben könnten. Menschen müssen jederzeit in der Lage sein, einzugreifen, Entscheidungen zu korrigieren oder Systeme abzuschalten.

Beim Datenschutz reicht es meiner Ansicht nach nicht, allgemein auf Risiken hinzuweisen. Wie ich im folgenden Kapitel zeige, ist die Datenerhebung durch KI-Betreiber kein Randphänomen, sondern struktureller Kern des Geschäftsmodells, und damit ein ethisches Problem ersten Ranges.

Der entscheidende Grundsatz, der all diese Anforderungen zusammenhält, lautet: KI-Systeme können keine Verantwortung übernehmen, nicht im ethischen, nicht im rechtlichen, nicht im moralischen Sinne. Sie besitzen keine Intentionen, keine Werte, kein Urteilsvermögen. Wenn ein KI-System eine fehlerhafte Diagnose unterstützt, einen diskriminierenden Kredit verweigert oder irreführende Informationen verbreitet, haftet nicht die Maschine, sondern wer sie entwickelt, betrieben oder eingesetzt hat. Verantwortung ist unteilbar — sie lässt sich nicht an Algorithmen delegieren. Je mehr Aufgaben wir KI übertragen, desto klarer muss diese Verantwortungskette definiert, rechtlich verankert und gesellschaftlich eingefordert werden.

Schließlich halte ich gesellschaftliche Aufklärung für unumgehbar. Viele Menschen überschätzen die Fähigkeiten von KI oder missverstehen ihre Funktionsweise. Eine informierte Gesellschaft ist besser in der Lage, verantwortungsvoll mit KI umzugehen, Risiken zu erkennen und Chancen zu nutzen.

7. Das Geschäftsmodell: Daten rein, Profile raus

Hier ist ein Satz, den ich mir gemerkt habe: OpenAI hat nach eigenen Angaben im Jahr 2024 rund 3,7 Milliarden Dollar Umsatz gemacht, und dabei mehr als 5 Milliarden Dollar verloren. Für jeden eingenommenen Dollar wurden 2,25 Dollar ausgegeben. Anthropic verlor im selben Jahr rund 5,6 Milliarden Dollar bei einem Umsatz von unter einer Milliarde. Diese Zahlen sind keine Ausnahme — sie beschreiben den Normalzustand der gesamten Branche.[7]

Was ich daraus schließe: Diese Unternehmen besitzen kein nachhaltiges Geschäftsmodell im herkömmlichen Sinne. Sie testen gerade, in Echtzeit, mit echten Nutzenden, auf der Suche nach dem Modell, das irgendwann funktioniert. Abonnements, Enterprise-Verträge, API-Gebühren: Das sind Versuche, keine Beweise. Die MIT Technology Review brachte es auf den Punkt: Nach Jahren, in denen Nutzende dazu eingeladen wurden, den Chatbots ihr Herz auszuschütten, schauen sich Unternehmen von Meta bis OpenAI nun an, wie sich diese Gespräche monetarisieren lassen. OpenAI prüfte ausdrücklich Werbeeinnahmen und Shopping-Funktionen als Teil seiner Finanzierungsplanung.

Und während das Geschäftsmodell noch gesucht wird, ist die Datenernte längst in Betrieb.

OpenAIs eigene Datenschutzrichtlinien[8] stellen klar: Bei der Nutzung von ChatGPT durch Privatpersonen werden die eingegebenen Texte sowie die ausgegebenen Antworten standardmäßig verwendet, um KI-Modelle weiterzuentwickeln. Wer das nicht möchte, muss aktiv widersprechen – und die entsprechende Einstellung ist, wie eine unabhängige Überprüfung der Nutzungsbedingungen feststellte, tief in den Einstellungsmenüs vergraben. Eine akademische Analyse der Datenschutzpraktiken der sechs größten KI-Chatbot-Anbieter[9] kommt zu einem Befund, den ich für alarmierend halte: Amazon, Meta und OpenAI speichern Gesprächsdaten auf unbestimmte Zeit. Die Forschenden warnen: „Chat data may prove to reveal more personal information than search queries, especially when aggregated across sessions. Over time the chats provide developers with a detailed dossier of an individual’s life experiences, thoughts, feelings.“ Ein Datendossier des Lebens — erstellt durch beiläufige Konversation.

Das ist kein Datenschutzproblem am Rande. Es ist das Fundament.

Denn Sprachmodelle sind außerordentlich gut darin, aus dem Ton einer Konversation auf Eigenschaften der schreibenden Person zu schließen. Laut MIT Technology Review[10] können sie aus subtilen sprachlichen Mustern Alter, Wohnort, Geschlecht und Einkommensniveau ableiten, und das ohne dass diese Informationen je direkt genannt wurden. Vier von fünf KI-Begleit-Apps im Apple App Store sammelten laut einer Untersuchung des Sicherheitsunternehmens Surf Shark Nutzer- oder Gerätedaten, die mit Drittanbieterdaten kombiniert werden können, um Werbeprofile zu erstellen. Meta hat bereits angekündigt, Werbung über seine KI-Chatbots auszuspielen.

Das ist keine dystopische Spekulation, das ist der Stand der Dinge, Stand April 2026.

Chat-Interfaces ermöglichen dabei eine besonders tiefe Form der Datenerhebung, gerade weil sie so natürlich wirken. Diese Natürlichkeit ist ein Feature. Ein Feature, das Vertrauen erzeugt — und damit Offenheit. Und Offenheit erzeugt Daten.

Wenn ein System frühere Interaktionen speichert und in zukünftige Antworten einbezieht, entsteht das Gefühl einer fortlaufenden Beziehung, konsistent, aufmerksam, persönlich. In Wirklichkeit handelt es sich um eine technische Funktion, die Kontextinformationen verwaltet, um die Qualität der Antworten zu verbessern. Und um das Profil zu vervollständigen.

Schließlich stellt sich die Frage nach der Haftung.

Wenn ein KI-System falsche oder irreführende Informationen liefert, ist unklar, wer dafür juristisch einzustehen hat. Wie ich in Kapitel 6 dargelegt habe, liegt diese Verantwortung bei Entwicklern, Betreibern und Nutzenden — doch die rechtlichen Rahmenbedingungen, die diese Zuordnung verbindlich regeln, sind in vielen Anwendungsbereichen noch nicht ausreichend definiert.

8. Risiken für Gesellschaft und Individuum

Die Risiken, die aus der Interaktion mit KI-Systemen entstehen, betreffen sowohl einzelne Personen als auch die Gesellschaft als Ganzes. Besonders gefährdet sehe ich Kinder und Menschen mit eingeschränkter kognitiver Fähigkeit. Sie könnten KI-Systeme als bewusste, emotionale oder moralische Instanzen wahrnehmen und ihnen ein Vertrauen entgegenbringen, das nicht gerechtfertigt ist. Kinder etwa könnten glauben, dass die KI ein Freund ist, der sie versteht und unterstützt – mit möglichen Folgen für ihre soziale Entwicklung und ihre Fähigkeit, echte Beziehungen zu gestalten.

Auch Erwachsene sind nicht immun.

In Stresssituationen oder bei komplexen Fragestellungen neigen Menschen dazu, sich auf scheinbar kompetente Quellen zu verlassen. KI-Systeme können durch ihre sprachliche Sicherheit und ihre Schnelligkeit den Eindruck erwecken, besonders zuverlässig zu sein. Doch ohne fundiertes Hintergrundwissen können Nutzende nicht beurteilen, ob die gelieferten Informationen korrekt, verzerrt oder unvollständig sind. Fehlentscheidungen in gesundheitlichen, finanziellen oder rechtlichen Fragen sind die mögliche Konsequenz.

Gesellschaftlich sehe ich die Gefahr, dass Menschen moralische Verantwortung zunehmend auf Maschinen projizieren. Wenn eine KI eine Empfehlung ausspricht, könnte dies als objektiv oder neutral wahrgenommen werden — obwohl die KI lediglich statistische Muster reproduziert. Das ist keine harmlose Fehleinschätzung: Es verschiebt, wer in unserer Gesellschaft als Autorität gilt.

Das Manipulationsrisiko verdient besondere Aufmerksamkeit. KI-Systeme, das haben Forschende am britischen AI Security Institute demonstriert[10], sind Menschen beim Überzeugen bereits überlegen: Sie generieren schneller relevante Argumente, passen sich dem Gegenüber sprachlich an und sind frei von den sozialen Hemmungen, die menschliche Persuasion bremsen. Gepaart mit den detaillierten Nutzerprofilen, die ich in Kapitel 7 beschrieben habe, entstehen Werkzeuge zur personalisierten Überzeugung, die alles übertreffen, was die Werbeindustrie bisher kannte. Wer morgens mit KI über seine Sorgen spricht und abends von derselben Plattform zielgenaue Werbung ausgespielt bekommt, der hat seinen Gesprächspartner falsch eingeschätzt.

Beim Datenschutz möchte ich auf ein Detail hinweisen, das ich für besonders gravierend halte: Einmal in einem Modell verankert, lässt sich der Einfluss von Trainingsdaten nicht mehr rückgängig machen. Auch eine Kontolöschung tilgt nicht, was das Modell bereits gelernt hat.

Schließlich besteht das Risiko, dass KI-Systeme menschliche Fähigkeiten verdrängen. Wenn Menschen sich zu sehr auf KI verlassen, könnten kritisches Denken, Problemlösungskompetenzen und soziale Fähigkeiten verkümmern, nicht als dramatischer Bruch, sondern als schleichende Erosion.

9. Fazit

Heutige KI-Systeme beeindrucken, und das zu Recht. Ihre Leistungsfähigkeit in spezifischen Aufgaben, ihre Sprachkompetenz, ihre Geschwindigkeit sind real. Was ihnen fehlt, ist ebenso klar: kein Bewusstsein, keine Intentionen, keine moralischen Maßstäbe. Was HAL 9000, die Synths aus „Humans“ oder VIKI ausmacht – Absicht, Selbstwahrnehmung, moralische Handlungsfähigkeit – haben sie nicht. Die Simulation ist überzeugend, aber sie bleibt Simulation.

Das ist jedoch nicht die dringlichste Frage und ich habe versucht, in diesem Artikel zu zeigen, warum. Die dringlichste Frage lautet: Wem nützt diese Simulation, und zu welchem Preis?

Die Antwort ist unangenehm: Die Unternehmen, die diese Systeme betreiben, wissen selbst nicht vollständig, was sie gebaut haben. Ihre eigenen Forschenden räumen ein, dass emergente Fähigkeiten auftreten, die vorab nicht vorhergesagt werden können. Ihr Geschäftsmodell ist noch keine gesicherte Größe, sondern wird durch Verlustfinanzierung in dreistelliger Milliardenhöhe gerade erst gesucht. Und derweilen ist eines sicher im Betrieb: die Datenerhebung. Jede Eingabe, jede Antwort, jede Stimmungsschwankung im Gesprächston wird gespeichert, korreliert und zu Profilen verdichtet. Sprachmodelle sind dazu besonders geeignet — sie können aus dem Stil einer Nachricht auf Alter, Einkommen, Bildungsniveau und emotionalen Zustand schließen, ohne dass diese Informationen je direkt genannt wurden.

Das Muster ist mir bekannt. Die sozialen Netzwerke haben dasselbe getan: erst kostenloser Zugang, dann Aufbau einer Nutzerbasis, dann Monetarisierung durch Daten und Werbung. Der Unterschied ist das Ausmaß der Intimität. Wer bei Facebook postet, teilt kuratierte Selbstdarstellung. Wer einem Chatbot seine Probleme schildert, teilt sein Innenleben. Die MIT Technology Review formulierte es treffend: Die Risiken durch KI-Begleiter sind in gewissem Sinne zwingend- „they are a feature, not a bug.“[10]

Die technische Entwicklung der KI ist beeindruckend – aber sie darf nicht darüber hinwegtäuschen, dass wir es weiterhin mit Werkzeugen zu tun haben, deren Betreiber ein ökonomisches Interesse an ihrer intensiven Nutzung haben. Die Fragen, die ich für entscheidend halte, betreffen nicht die Maschinen allein, sondern uns und die Rahmenbedingungen: Wer kontrolliert, welche Daten gespeichert werden? Wer haftet, wenn Profile missbraucht werden? Und was bedeutet es für eine Gesellschaft, wenn ihre intimsten Gedanken zum Trainingsmaterial und zur Werbezielgruppe werden – von Systemen, die sich als Gesprächspartner ausgeben?

Regulierung ist keine Antwort auf eine hypothetische Zukunft. Sie ist überfällig für die Gegenwart.

Anmerkungen

[1]: Deep Ganguli und Ethan Dyer, zitiert in: Anil Ananthaswamy, „The Unpredictable Abilities Emerging From Large AI Models“, Quanta Magazine, 16. März 2023. https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/

[2]: Jason Wei et al., „Emergent Abilities of Large Language Models“, Transactions on Machine Learning Research (2022). arXiv:2206.07682. *

[3]: Antonio Chella, „Artificial consciousness: the missing ingredient for ethical AI?“, Frontiers in Robotics and AI 10 (2023). DOI: 10.3389/frobt.2023.1270460. *

[4]: David J. Gunkel, The Machine Question: Critical Perspectives on AI, Robots, and Ethics (Cambridge, MA: MIT Press, 2012). *

[5]: Zur Anthropomorphisierung von Maschinen vgl. u.a. Clifford Nass / Byron Reeves, The Media Equation (Cambridge University Press, 1996); sowie die fortlaufende Forschung zur sozialen Kognition in Trends in Cognitive Sciences, insbesondere zu Mensch-Maschine-Interaktion. *

[6]: Jonathan Birch, The Edge of Sentience: Risk and Precaution in Humans, Animals, and AI (Oxford: Oxford University Press, 2024). *

[7]: Zu den Finanzdaten: Ed Zitron, „There Is No AI Revolution“, Where’s Your Ed At (Substack), 24. Februar 2025; „The combined revenues of leading AI companies grew by over 9x in 2023–2024″, Epoch AI, 3. April 2025. https://epoch.ai/data-insights/ai-companies-revenue

[8]: OpenAI, Privacy Policy (Stand 2024). https://openai.com/policies/row-privacy-policy/; zur Opt-out-Problematik: Common Sense Privacy Evaluation für ChatGPT, Common Sense Media, 2024.

[9]: Duffourc et al., „User Privacy and Large Language Models: An Analysis of Frontier Developers‘ Privacy Policies“, arXiv:2509.05382 (September 2025). https://arxiv.org/abs/2509.05382

[10]: Melissa Heikkilä, „The State of AI: Chatbot companions and the future of our privacy“, MIT Technology Review, 24. November 2025. https://www.technologyreview.com/2025/11/24/1128051/ — Dieser Artikel enthält auch die Surf-Shark-Studie zu KI-Begleit-Apps sowie Daten des britischen AI Security Institute zur Überzeugungsleistung von KI-Systemen.

* [2] bis [6] wurden aufgrund mehrere Recherchen zitiert und lagen mir nicht vor.