Gegen Bußgelder abgesichert, gegen Schäden nicht
87 Pflichten stehen in den Hochrisiko-Artikeln der KI-Verordnung. 27 davon zielen auf eine konkrete KI-Gefahr. Der Rest sind Prozesse und Dokumente — und genau dorthin fließt die Arbeit zuerst.
Ob ISO 42001 oder EU-KI-Verordnung: Man schaut viel auf Regeln und fragt selten, warum es sie gibt. Als Prüfer von Modellrisiken bei Banken habe ich das oft erlebt. Gefragt wurde, ob etwas im Gesetz steht — nicht, ob die Annahme dahinter trägt. Dabei steckt das Risiko in der Annahme, nicht im Absatz.
Eine neue Auswertung zeigt, dass die Verordnung diese Schieflage selbst mitbringt.
Was in den Hochrisiko-Artikeln wirklich steht
Ein Team von TU München und Siemens hat die Artikel 9 bis 15 auseinandergenommen und in einzelne Pflichten zerlegt. Übrig blieben 87. Dann hat es jede davon eingeordnet: Zielt sie auf eine konkrete KI-Gefahr — oder verlangt sie einen Prozess, ein Dokument, eine Freigabe?
27 von 87 sind 31 Prozent. Die übrigen 69 Prozent verlangen, dass etwas geregelt, festgehalten oder nachgewiesen wird — verzerrte Trainingsdaten, blindes Vertrauen in die Maschine und die 38 anderen Gefahren stecken in dem knappen Drittel.
Erfüllt heißt nicht beherrscht.
Eines sagt diese Zahl ausdrücklich nicht: dass 69 Prozent der Arbeit in Papier fließen. Gezählt wurden Pflichten, nicht Aufwand. Ich vermute, die Verteilung des Aufwands ist ungünstiger als die der Pflichten — ein Dokument zu schreiben oder einen Prozess anzupassen ist planbar und abschließbar. Ein Risiko tatsächlich zu senken ist beides nicht.
Artikel 9 nennt keine einzige Gefahr
Der Risikomanagement-Artikel enthält 18 Pflichten. Keine davon benennt eine Gefahr. Das ist kein Versehen, sondern Bauart: Der Gesetzgeber überlässt es dem Anbieter, herauszufinden, was in sein Register gehört.
Damit sind die 40 Gefahrenquellen, die sich aus dem übrigen Text herauslesen lassen, eine Untergrenze — keine Liste zum Abhaken. Sie verteilen sich so:
Drei, die ganz fehlen
Die Autoren nennen drei Gefahrenquellen, die gängige Risikokataloge führen und die in den KI-spezifischen Anforderungen der Verordnung nicht auftauchen:
Warum das Modell so entschieden hat. Die Verordnung verlangt Interpretierbarkeit der Ausgabe für die Aufsichtsperson — nicht, dass die Entscheidung selbst erklärbar ist.
Der Einsatz entfernt sich von den Daten, auf denen trainiert wurde. Das System bleibt formal dasselbe und wird leise falsch.
Fähigkeiten oder Reaktionen, die beim Bauen niemand vorgesehen hat und die in keiner Anforderung vorkommen.
Meine Interpretation
Wer sein Risikoregister aus dem Gesetzestext ableitet, hat es formal vollständig. Durch eine Prüfung, die Fundstellen abhakt, kommt es damit. Ein Prüfer, der sein Handwerk versteht, wird sich trotzdem daran stören — er sieht ein Register, in dem neben jedem Eintrag ein Absatz steht und neben keinem eine eigene Überlegung, und fragt nach der Gefahr, die Sie selbst gefunden haben.
Und dann gibt es den Fall, in dem niemand prüft. Wenn das System jemanden schädigt und die Frage nach Schadensersatz kommt, zählt nicht, ob Sie jede Pflicht erfüllt haben, sondern ob Sie die Gefahr hätten kennen müssen. Erklärbarkeit, Verteilungsdrift und unerwartetes Verhalten sind in der Fachliteratur gut belegt. „Stand nicht in der Verordnung“ ist dann keine Verteidigung.
Schwerer wiegt für mich die Reihenfolge. Die 69 Prozent sind das, was sich abarbeiten lässt: Ein Dokument hat ein Ende, ein Prozess hat eine Freigabe. Ein Risiko zu senken hat beides nicht. Deshalb wandert der Aufwand dorthin zuerst — nicht aus Nachlässigkeit, sondern weil es die Aufgabe ist, bei der man Fortschritt sieht. Am Ende steht ein vollständiges Register und ein unverändertes Risiko.
Eine Aufgabe für diese Woche. Legen Sie Ihr KI-Risikoregister neben die 40 Gefahrenquellen und markieren Sie, welche fehlen. Das Paper ordnet jeder Quelle ihren Absatz im Gesetz zu — die Zuordnung müssen Sie also nicht selbst herstellen.
Und prüfen Sie beim Durchgehen die zweite Frage mit: Steht neben jedem Eintrag eine Maßnahme, die das Risiko senkt — oder eine, die es dokumentiert?
Quelle: Schnitzer, R.; Auer, M.; Choudhury, R.; Hapfelmeier, A.; Hoeving, M.; Painter, I.; Xavier Parreira, J.; Zillner, S. (2026): From Legal Text to AI-specific Risk Sources: A Systematic Analysis of the EU AI Act's High-Risk Requirements. TU München / Siemens AG, arXiv:2609.13535, 11. September 2026 · Vollständige Studie
Einordnung der 87 Pflichten durch vier Fachleute aus KI-Entwicklung und -Forschung aus dem Autorenkreis; Juristen waren nicht beteiligt. Einen systematischen Abgleich mit bestehenden Risikokatalogen — AI Hazard List, MIT Risk Repository, AI Risk Atlas — enthält das Paper ausdrücklich nicht; er ist als künftige Arbeit angekündigt. Auch die drei fehlenden Gefahrenquellen sind eine fachliche Einschätzung der Autoren und nicht das Ergebnis eines solchen Abgleichs. Für die Praxis in Prüfung und Governance taugt die Liste trotzdem: Sie ordnet jeder Gefahrenquelle ihren Absatz im Gesetz zu.
KI-HinweisDas Lektorat dieses Textes wurde von einer KI übernommen.