Teil 2 von 4 über „Magnifica Humanitas“
Es gibt einen Satz in Magnifica Humanitas, der so präzise ist, dass er aus einem netzpolitischen Grundsatzpapier stammen könnte: „Eine moralischere KI nützt nichts, wenn diese Moral von wenigen bestimmt wird.“
Das steht in Paragraf 107. Geschrieben vom Papst. Veröffentlicht im Mai 2026. Und es beschreibt exakt das Problem, an dem die KI-Regulierungsdebatte seit Jahren scheitert.
Was KI ist — und was sie definitiv nicht ist
Bevor man über Regulierung reden kann, muss man über das Wesen des Gegenstands reden. Magnifica Humanitas macht das in einer Passage, die ich so in keinem Behördenpapier und in keiner Unternehmenskommunikation gefunden habe.
KI wird, so das Dokument, „eher gezüchtet als gebaut“ (§ 98). Die Entwickler entwerfen nicht jedes Detail direkt. Sie schaffen eine Architektur, auf der Systeme wachsen. Was in diesen Systemen tatsächlich vorgeht, welche inneren Repräsentationen sie bilden, wie sie zu Ergebnissen kommen, ist selbst den Entwicklern weitgehend unbekannt.
Das ist keine frommer Pessimismus. Das ist Stand der Forschung.
Und dann folgt die Schlussfolgerung: Diese Systeme ahmen Funktionen menschlicher Intelligenz nach. Sie übertreffen Menschen oft an Geschwindigkeit und Rechenleistung. Aber sie machen keine Erfahrungen. Sie haben keinen Leib. Sie empfinden weder Freude noch Schmerz. Sie reifen nicht in Beziehungen. Sie haben kein moralisches Gewissen. Sie unterscheiden nicht zwischen Gut und Böse, weil sie nicht verstehen, was diese Unterscheidung bedeutet (§ 99).
Wundert das jemanden? Kaum. Aber es hat Konsequenzen, die in der öffentlichen Debatte konsequent verdrängt werden.
Die Maschine entscheidet, aber niemand ist zuständig
Wer heute einen Kredit beantragt, eine Sozialleistung beantragt, sich auf eine Stelle bewirbt oder ins Visier einer Strafverfolgungsbehörde gerät, hat zunehmend mit Systemen zu tun, die über ihn entscheiden, ohne dass ein Mensch diese Entscheidung trifft, prüft oder verantwortet.
Magnifica Humanitas benennt das direkt: Einem Algorithmus die Macht zu übertragen, zu bestimmen, wem etwas zusteht und wem nicht, ohne dass noch jemand die Last der Entscheidung trägt, bedeutet, die Ausgrenzung der Schwachen mit Neutralität und Objektivität zu ummanteln, gegen die man nicht protestieren kann. Ungerechtigkeit wird lautlos (§ 103).
Das ist der entscheidende Punkt. Nicht, dass Algorithmen böse sind, sondern dass sie Verantwortung unsichtbar machen. Wer gegen eine Entscheidung Einspruch erheben will, braucht eine Adresse. „Der Algorithmus“ ist keine Adresse. „Das Modell hat das so bewertet“ ist keine Begründung. „Wir können die Entscheidungsprozesse nicht nachvollziehen“ ist keine akzeptable Antwort — schon gar nicht, wenn dieselbe Entscheidung darüber bestimmt, ob jemand eine Wohnung bekommt, einen Job oder Bewährung.
Ethische KI: das Ablenkungsmanöver
Es gibt mittlerweile eine ganze Industrie rund um „ethische KI“. Ethikräte bei Tech-Konzernen. Leitlinien für verantwortungsvolle KI-Entwicklung. Selbstverpflichtungserklärungen. Zertifizierungsmodelle.
Das Dokument ist höflicher als ich, aber die Diagnose ist dieselbe: Es reicht nicht aus, sich allgemein auf Ethik zu berufen. Es bedarf angemessener rechtlicher Rahmenbedingungen, unabhängiger Aufsicht, Aufklärung der Nutzer und einer Politik, die sich nicht ihrer Aufgabe entzieht. Andernfalls wird der Wandel nur von technokratischen Logiken bestimmt und als notwendig und unvermeidlich dargestellt; und am Ende setzen diejenigen die Regeln, die über Daten, Infrastruktur und Rechenkapazitäten verfügen (§ 106).
Kurz gesagt: Wer seinen eigenen Ethikrat hat, reguliert sich selbst. Und wer sich selbst reguliert, reguliert sich tendenziell so, dass es ihm nutzt.
Die Piratenpartei hat das seit Jahren gesagt, vor allem in Bezug auf Netzneutralität, Datenschutz und Plattformregulierung. Die Enzyklika sagt es jetzt in Bezug auf KI. Die Erkenntnis ist dieselbe:
Selbstregulierung ist kein Regulierungskonzept, es ist eine Lobbystrategie.
Wessen Moral steckt im System?
Paragraf 107 ist der schärfste des gesamten Kapitels. Ich zitiere ihn im Kern noch einmal, weil er es verdient: Wer KI kontrolliert, setzt seine eigene moralische Auffassung durch, und diese wird zur unsichtbaren Infrastruktur der Systeme.
Das bedeutet: Jedes KI-System trägt Entscheidungen in sich. Was es misst. Was es ignoriert. Was es optimiert. Wen es als Risiko einstuft und wen nicht. Diese Entscheidungen werden von Menschen getroffen: von Entwicklern, von Produktverantwortlichen, von Investoren, die Kennzahlen vorgeben. Aber sobald das System läuft, sind diese Entscheidungen unsichtbar. Sie erscheinen als objektives Ergebnis.
Wenn ein Kreditvergabe-Algorithmus systematisch Menschen aus bestimmten Postleitzahlen schlechter bewertet, ist das kein neutrales Ergebnis. Es ist die eingespeiste Vorurteilsstruktur vergangener Kreditentscheidungen, reproduziert in industriellem Maßstab, mit dem Anschein von Objektivität. Wenn ein Recruiting-Algorithmus Bewerbungen von Frauen schlechter bewertet, weil die Trainingsdaten aus einer Zeit stammen, in der die meisten Führungspositionen von Männern besetzt wurden, ist das kein neutrales Ergebnis. Es ist strukturelle Diskriminierung, automatisiert.
KI kann Ungerechtigkeit nicht nur reproduzieren, sondern sie beschleunigen, skalieren und unsichtbar machen.
Was Accountability bedeutet — und warum das kein Fremdwort ist
Das Dokument verwendet den Begriff Accountability direkt (§ 105) und meint damit die Möglichkeit, festzustellen, wer für Entscheidungen Rechenschaft ablegen muss, wer sie begründen, kontrollieren und anfechten kann. Das ist im Kern das, was wir in der Netzpolitik unter Transparenz und Rechenschaftspflicht verstehen. Konkret heißt das:
- Erstens: Wer ein System einsetzt, das Entscheidungen über Menschen trifft, muss erklären können, wie diese Entscheidungen zustande kommen. „Das Modell hat das ergeben“ ist keine Erklärung.
- Zweitens: Betroffene müssen das Recht haben, Entscheidungen anzufechten, aber nicht beim Algorithmus, sondern bei einem Menschen mit Entscheidungsbefugnis.
- Drittens: Die Möglichkeit, den Ethikkodex, der einem System zugrunde liegt, demokratisch zu diskutieren und anzupassen. Nicht als Selbstverpflichtungserklärung des Unternehmens, sondern als öffentliche, rechtlich bindende Debatte.
Der EU AI Act macht Schritte in diese Richtung. Zu kleine Schritte, mit zu vielen Ausnahmen, und zu langsam. Aber die Richtung stimmt. Das Problem ist nicht das Konzept, sondern der politische Wille es durchzusetzen.
Die Machtkonzentration ist das eigentliche Problem
Magnifica Humanitas macht an mehreren Stellen klar, was hinter der Regulierungsfrage steht: KI stärkt die Macht derer, die bereits Macht haben (§ 108). Wer über Daten, Infrastruktur und Rechenkapazitäten verfügt, bestimmt die Regeln. Und wer die Regeln bestimmt, bestimmt, was als neutral gilt.
Die großen KI-Systeme der Gegenwart werden von einer Handvoll Unternehmen kontrolliert. Kein einziges davon ist demokratisch legitimiert. Keines unterliegt einer parlamentarischen Kontrolle. Keines muss seinen Ethikkodex zur Abstimmung stellen. Und alle zusammen entscheiden gerade, welche Werte in die Systeme eingeschrieben werden, die in zehn Jahren Entscheidungen über Milliarden Menschen treffen.
Das ist kein Datenschutzproblem. Das ist eine Machtfrage. Und Machtfragen erfordern politische Antworten, keine Selbstverpflichtungserklärungen.
Was das konkret für Netzpolitik bedeutet, welche Forderungen sich daraus ableiten lassen und warum „KI entwaffnen“ vielleicht die griffigste Formulierung ist, die ein Papst je produziert hat: Das kommt in Teil 4. Zuerst geht es in Teil 3 um etwas, das in der hiesigen Netzpolitikdebatte fast nicht vorkommt: Was hinter jedem KI-System steckt, bevor man auch nur die erste Anfrage eingibt. Und wessen Körper dafür bezahlen.
