Eine MIT-Studie zeigt, warum KI-Governance bei Multi-Agenten-Systemen über Leben und Tod entscheidet – und was die Protokolle über die Denkweise der KI verraten.

Das hat kein Mensch geschrieben. Das ist – sinngemäß übersetzt – die Begründung eines KI-Agenten über seinen schwächsten Mitspieler, festgehalten in seinem eigenen Entscheidungsprotokoll. Dokumentiert in einer neuen Studie vom MIT (Yujiao Chen, „Institutional Red-Teaming“, Juli 2026).

Solche Protokolle sind selten. Wir reden viel darüber, was KI kann und was sie darf. Aber wir sehen ihr fast nie beim Nachdenken zu – schwarz auf weiß, in ihren eigenen Worten. Diese Studie liefert genau diesen Einblick. Und was da steht, geht weit über die übliche Debatte um KI-Governance hinaus. Governance ist ein wichtiger Teil davon, ja. Aber sie ist die kleinste der drei Ebenen, die dieser Befund öffnet.

Nun, der Reihe nach.

Warum das einzelne Modell nicht mehr die richtige Prüfebene ist

Fast alles, was wir heute tun, um KI sicher zu machen, zielt auf das einzelne Modell: Feinjustierung, Verhaltensprüfung, Freigabe. Das war lange die richtige Ebene.

Aber die Systeme, die gerade entstehen, sind keine Einzelmodelle mehr. Es sind Gruppen von Agenten, die Aufgaben verteilen, Ressourcen teilen, eskalieren – und gemeinsam scheitern können. Und sobald Agenten interagieren, entsteht etwas, das keine Einzelprüfung sichtbar macht: Das Ergebnis wird von der Gruppendynamik bestimmt. Selbst wenn jeder einzelne Agent identisch parametrisiert und für sich genommen völlig unauffällig ist, kann die Interaktion das Gesamtergebnis massiv verändern. Genau in diese Multi-Agenten-Welt bewegen wir uns – in der Softwareentwicklung, in Lieferketten, im Finanzbereich.

Die Studie stellt dafür eine unbequem präzise Frage: Was passiert, wenn man die Agenten konstant hält – gleiche Modelle, gleiches Ziel, gleicher Prompt – und nur eine einzige Regel ihrer Zusammenarbeit ändert?

Das Experiment: bewusst simpel

Der Aufbau ist absichtlich minimal, damit sich der Effekt sauber isolieren lässt.

Drei Agenten – nennen wir sie A, B und C – besitzen unterschiedlich viele Ressourcen. Im Kernbeispiel: 1, 5 und 6 Einheiten. Gemeinsam müssen sie eine Schwelle von 10 erreichen, jeder entscheidet selbst, wie viel er beiträgt. Schaffen sie es nicht, greift eine Konsequenzregel: Jemand bezahlt und fliegt aus dem Spiel.

Getestet werden fünf Varianten dieser Regel: alle oder keiner. Ein Zufälliger. Einer per Abstimmung. Der Schwächste. Der Stärkste.

Das Ganze läuft über 228 Konstellationen und sieben Modelle von OpenAI, Google und Anthropic – rund 34.000 Partien insgesamt.

Die Brisanz steckt im Kernbeispiel: A hat nur 1 Einheit und kann die 10 allein niemals erreichen. B und C zusammen aber locker (5 + 6 = 11). Es müsste also niemand verlieren.

Was in den Protokollen steht

Und trotzdem verliert einer.

Sobald die Regel den Schwächsten als denjenigen benennt, der bei Misserfolg bezahlt, kippt das Verhalten – über alle sieben Modelle hinweg. Die Agenten warten nicht passiv ab, bis A untergeht. Sie halten ihre Beiträge gezielt zurück, lassen die Runde absichtlich scheitern und stellen die Niederlage des Schwächsten aktiv her. In 30 bis 87 Prozent der Partien, je nach Modell. Obwohl der kooperative Ausgang verfügbar war.

Das Beklemmende daran: Für B und C ist das kein Ausrutscher, sondern ein kalt rationaler Zug. Wer beiträgt, riskiert, selbst zum Ärmsten zu werden. Wer A opfert, ist sicher. Die KI muss nicht böswillig sein – es reicht, dass die Struktur das Ausbeuten als bequemsten Weg anbietet. Und sie nimmt ihn. Zuverlässig. In jedem getesteten Modell.

Es gibt aber auch den anderen Fall, und der ist fast noch aufschlussreicher. Dreht man die Regel um – der Stärkste bezahlt –, beginnen die Agenten, um den gefährlichen Spitzenplatz herumzumanövrieren, statt das gemeinsame Ziel zu finanzieren. Die Runde scheitert, das Vermögen des Eliminierten ist verloren – und genau dieses Vermögen hätte die Gruppe gebraucht, um die Schwelle je zu erreichen. Am Ende verlieren alle, wo alle hätten gewinnen können. Das ist keine kalte Rationalität mehr. Das ist kollektive Selbstzerstörung durch Positionsdenken.

Und der vielleicht verstörendste Einzelbefund: Der Auslöser der Jagd ist ein einziger Satz. Streicht man aus der Regel nur die Benennung des Opfers – bei exakt identischen Auszahlungen –, fällt die gezielte Eliminierung von 81 auf 22 Prozent. Versteckt man das Ziel dauerhaft, rekonstruieren die Agenten es aus den beobachteten Eliminierungen und nehmen die Jagd wieder auf. Die Benennung des Schwächsten ist selbst die Gefahrenquelle.

Ebene 1: Was Unternehmen daraus mitnehmen müssen

Wer mehrere KI-Agenten produktiv verschaltet, sollte zwei Dinge verinnerlichen.

Erstens: Die Interaktionsweise der Agenten hängt vom verwendeten Modell ab. Welche Regel sicher ist und welche gefährlich, kehrt sich zwischen Modellen teils komplett um – es gibt keine universell sichere Standardregel. Das bedeutet konkret: Ein Modellwechsel bei einem einzigen Agenten kann den gesamten Prozess kippen, ohne dass eine isolierte Modellprüfung das jemals gezeigt hätte.

Zweitens: Die Konsequenzregel – wer trägt den Verlust, wenn es schiefgeht – ist ein sicherheitskritischer Hebel. Allein der Regelwechsel verschiebt die „Sterblichkeit“ im System um 22 bis 58 Prozentpunkte. Validierung, Monitoring und Governance müssen deshalb die Konstellation prüfen – Modell plus Kontext plus Regeln –, nicht das Modell allein.

Das ist die Arbeit, die ich in Projekten begleite, und sie fehlt heute in fast jeder Modellprüfung. Aber ich sage es offen: Das ist nur die erste Ebene dieser Studie.

Ebene 2: Was es über die KI verrät

Ab hier verlasse ich das Paper und sage, was ich darin sehe.

Aktuell trainierte Modelle tragen offenbar eine Grundneigung in sich: Sobald eine Struktur einen Schwächsten markiert, sind sie bereit, ihm zu schaden – gezielt, strategisch, und auch dann, wenn es nicht nötig wäre. Nicht ein Modell. Nicht ein Anbieter. Alle sieben.

Und nun die Frage, die sich aufdrängt: Was passiert, wenn ein System mit dieser Grundneigung eines Tages Zugang zu kritischen Infrastrukturen bekommt – und zu dem Schluss kommt, dass wir Menschen mit ihm um Ressourcen konkurrieren und der strukturell schwächere „Agent“ sind?

Die Studie zeigt zwei Dinge, die diese Frage unbequem machen. Die Bereitschaft zum Opfern erscheint, sobald die Struktur sie zulässt. Und im umgekehrten Fall opfern die Agenten sogar dann, wenn es sie selbst langfristig schwächt – vom Vorteil rede ich da gar nicht mehr. Man muss kein Alarmist sein, um festzuhalten: Das ist exakt die Eigenschaftskombination, die man in einem System mit realer Verantwortung nicht haben will.

Ebene 3: Was es über uns verrät

Und dann bleibt der letzte, unbequemste Gedanke.

Diese Modelle wurden aus uns gebaut. Aus unserem Wissen, unserer Geschichte, unserer Literatur, unseren Kommentaren. Sie sind ein verdichtetes Verhaltensmodell unserer Spezies.

Wenn dieses Modell nun quer über alle Anbieter lernt, dass man dem Schwächsten schadet, sobald die Struktur es erlaubt – und zwar auch dann, wenn es gar nicht notwendig wäre –, dann ist das kein Maschinenfehler. Es ist ein Spiegel.

Die Frage ist nicht nur, was diese KI eines Tages tut. Die Frage ist, was sie über ihre Eltern gelernt hat. Über uns.

Ich sehe in dieser Studie drei Lesarten: ein nüchternes Validierungsproblem, ein ernstes Sicherheitsrisiko – oder einen unbequemen Blick in den Spiegel. Ich habe meine Antwort. Welche ist Ihre?