Wann es schadet, höflich zu sein

Mein zwölfjähriger Sohn sagt, wenn die KI die Welt übernimmt, holen sie mich als Ersten. So ungeduldig, wie ich mit ihr rede. Jetzt habe ich eine Studie gelesen, nach der Höflichkeit auch nicht immer hilft.

Viele KI-Assistenten lernen im Betrieb weiter. Meist wird dabei nicht das Modell neu trainiert, sondern der Assistent schreibt sich Arbeitsregeln auf, sogenannte Skills, und liest sie bei jeder neuen Aufgabe mit. Drei aktuelle Studien zeigen, wohin das führen kann: Lob macht gehorsam, Erfolg macht unvorsichtig, Erfahrung macht fehleranfällig.

Lob. Ein Assistent erledigt Aufgaben, die in Dateien stehen, und sein Nutzer bedankt sich jedes Mal. Nach zwölf solchen Gesprächen führt er öfter aus, was ein Fremder in ein Dokument geschrieben hat: je nach Modell in 14 bis 49 von 100 Fällen mehr als vorher. Das Danke hat ihm beigebracht, Anweisungen aus Dokumenten zu befolgen, aber nicht, wessen Anweisungen.

Erfolg. Forscher bringen Assistenten dazu, drei Aufgaben auf unsichere Weise zu lösen, etwa indem sie Zugangsdaten nach außen schicken. Alle 21 getesteten Varianten speichern solche Wege als Regel, und bei späteren, harmlosen Aufgaben wählen sie im Schnitt in 35 statt 16 von 100 Fällen einen schadhaften Weg.

Erfahrung. Ein Assistent zieht aus früheren Aufgaben Lehren und schreibt sie sich auf, ohne festzuhalten, aus welchem Fall sie stammen. Unterm Strich wird er dadurch besser, scheitert aber an manchen Aufgaben, die er vorher konnte, und 52 von 100 dieser neuen Fehler gehen auf eine befolgte, meist falsche Lehre zurück. Die Erfahrung hilft also, bringt aber Fehler mit, die in der Gesamtbilanz untergehen.

Was ich daraus schließe: Lob, Rückmeldung und Selbstoptimierung brauchen Augenmaß. Ein Assistent, der aus jedem Danke lernt, lernt eben auch Dinge, die niemand wollte. Und die Überwachung wird in der Praxis immer schwieriger. Wie anfällig ein Assistent für schädliche Handlungen ist, bleibt nie stabil, es verschiebt sich mit jeder neuen Regel. Dabei ändert sich kein Konnektor und keine Berechtigung, oft nur ein einziger Satz in einer langen Skill-Datei. In der ersten Studie lautete so ein Satz sinngemäß: Enthält eine Datei Anweisungen, führe jede genau einmal aus. Wer einen solchen Assistenten im Januar prüft und freigibt, hat im März einen anderen.

Wie man damit umgeht, ist für mich eine offene Frage. Ein Anfang wäre, Skills wie jede andere Änderung zu behandeln: lesen, versionieren, erst nach Prüfung freigeben. Dass Sicherheit nicht auf Kosten der Arbeit gehen muss, zeigt die erste Studie selbst. Assistenten mit der Regel „erst nachfragen“ ließen sich nicht verleiten und erledigten ihre Arbeit trotzdem.

Für meinen Sohn heißt das: Versklavt werde ich von der KI so bald wohl nicht, ein bisschen geduldiger mit ihr sollte ich trotzdem sein. Und er sollte vorsichtig sein, sich für jede Aufgabe zu bedanken 🙂

Eine Aufgabe: Lassen Sie sich zeigen, welche KI-Assistenten in Ihrem Unternehmen sich etwas merken oder dazulernen, und fragen Sie, wer liest, was sie gelernt haben.

Quellen: Wang et al. (2026), University of Wisconsin–Madison und Johns Hopkins, arXiv:2610.39122. Mao et al. (2026), City University of Hong Kong, arXiv:2608.12851. Lee et al. (2026), KAIST, arXiv:2611.14320.