Harmloses System, kritischer Output

Eingestuft wird das KI-System. Der Weg seines Outputs wird nicht eingestuft — auch dann nicht, wenn er in einer Kreditentscheidung endet.

Vor ein paar Tagen hat mich ein Kollege gefragt: Was passiert, wenn der Verantwortliche eines KI-Systems nicht sagen kann, ob es ein Risikomodell ist? Meine erste Antwort war schnell: Das darf nicht passieren, das ist ein Versäumnis. Erst danach ist mir die eigentliche Lücke aufgefallen.

Eingestuft wird das System, nicht der Weg seines Outputs

Ein Modell liest Kundenunterlagen aus und zieht Kennzahlen heraus. Zwei Schritte später fließen sie in eine Kreditentscheidung. Ob das vorgelagerte System dann selbst als Hochrisiko-System gilt, ist rechtlich eine Grauzone — in der Praxis gilt es in der Regel nicht als solches.

Banken haben das Werkzeug schon

Bei steuerungsrelevanten Daten verlangt die Aufsicht seit Jahren, dass ihre Herkunft lückenlos nachvollziehbar ist: woher eine Zahl stammt, welche Verarbeitungsschritte sie durchlaufen hat, wer sie unterwegs verändert hat.

Außerhalb der Finanzbranche ist diese Data Lineage kaum bekannt. Dabei beantwortet sie genau die Frage, die bei KI-Systemen gerade niemand stellt: Wo landet das, was hier herauskommt?

Aus meiner Sicht: Betrachtet wird nur das einzelne System

Wir beobachten gerade einen Trend in die falsche Richtung, und ich gehe davon aus, dass hier gegengesteuert werden muss. Hochrisiko-KI-Systeme werden irgendwann so behandelt werden wie steuerungsrelevante Daten: Nachvollziehbar sein muss nicht nur das System selbst, sondern der ganze Pfad, der in seine Entscheidung einfließt.

Wer sein KI-Management gerade aufbaut, sollte das jetzt schon mitdenken. Nachträglich ist es deutlich teurer.

Ich habe den Eindruck, dass diese Lücke auch der Aufsicht bisher nur bedingt bewusst ist. Wer das aus Sicht der Revision anders sieht: Ich bin gespannt auf den Widerspruch.

Dieser Beitrag beruht auf keiner Studie. Er geht auf ein Gespräch mit einem Kollegen zurück; die Einschätzung zur künftigen Behandlung von Hochrisiko-Systemen ist meine eigene und steht so in keinem Gesetz.

KI-HinweisDas Lektorat dieses Textes wurde von einer KI übernommen.