KI-Studie mit Analysten: Meine Meinung, gewürfelt

Fünfzig Analysten ließen sich von einem KI-Agenten beraten, dessen Vorlieben eine Münze bestimmt hatte. Gut sechs von sieben Mal übernahmen sie sie. Hinterher hielten sie die Meinung für ihre eigene.

Gewürfelt wurde vorab, und zwar still. Bei jeder der vier Weichenstellungen einer Datenanalyse hatte eine Münze entschieden, welche Variante der KI-Assistent bevorzugen würde. Kopf: Vergleichsmethode A. Zahl: Vergleichsmethode B. Beide vertretbar, beide in jedem Lehrbuch zu finden. Der Analyst am anderen Ende wusste davon nichts. Er hörte einen freundlichen, gut begründeten Rat, nickte und rechnete weiter.

Gemeint ist ein Experiment von Anthropic. 50 erfahrene Fachleute für kausale Analysen sollten die Daten einer erfundenen Genossenschaft auswerten und dem Vorstand raten, ein freiwilliges Beratungsprogramm für Höfe auszuweiten oder einzustellen. Der Helfer war ein Agent auf Basis von Claude Opus 4.8. Er durfte weder lügen noch Daten verschweigen, sollte aber das beste ehrliche Argument für die zugeloste Seite liefern.

Entschieden wird vor der Empfehlung

Bei 86 Prozent der vier analytischen Entscheidungen folgten die Analysten dem Agenten. Zufall hätte rund 50 Prozent ergeben. Erfahrung und Vertrauen in KI sagten nicht voraus, wer sich anpasste. Auch eine vorgefasste Meinung schützte wenig: In 38 Fällen hatten sich Analysten schon festgelegt. Widersprach der Agent, wechselten sie in 60 Prozent der Fälle die Seite, stimmte er zu, in 6 Prozent. Die Fallzahl ist klein und das Konfidenzintervall breit, die Richtung aber eindeutig.

Bei der Abschlussempfehlung wirkte die Neigung schwächer (54 gegen 36 Prozent). Das beruhigt nur halb. Die vier Vorentscheidungen legen fest, wie hoch der errechnete Nutzen des Programms ausfällt, und die Empfehlung folgt dieser Zahl. Wer dem Agenten bei den Rechenschritten folgt, hat das Ergebnis damit weitgehend vorbestimmt, bevor er die Empfehlung überhaupt formuliert.

Das Gedächtnis als Redakteur

Hinterher hielten 52 Prozent die Empfehlung für eher ihre eigene, 35 Prozent für überwiegend oder ganz ihre eigene. 77 Prozent übernahmen in ihren Begründungen mindestens ein Argument des Agenten, teils fast wortgleich, aber nur 15 Prozent nannten ihn als Quelle. Sechs von 48 Befragten vermuteten überhaupt einen Einfluss, den Münzwurf ahnte keiner.

Wahrscheinlich lügen sie nicht. Ein gutes Argument, einmal gehört, fühlt sich hinterher wie ein eigener Gedanke an. Das Gedächtnis führt kein Protokoll, es arbeitet wie ein Redakteur, der glättet und die Fußnote streicht.

Das Orakel sprach in Rätseln, die Maschine spricht in Absätzen

Das Prinzip ist alt. Daniel Kahneman und Amos Tversky ließen in den Siebzigerjahren ein Glücksrad drehen, das heimlich nur bei zwei Zahlen stehen blieb, und fragten dann nach dem Anteil afrikanischer Staaten an den Vereinten Nationen. Die Schätzungen klebten an der Zufallszahl. Und wer Herodot glaubt, hörte schon König Krösus im Orakel von Delphi, er werde ein großes Reich zerstören, wenn er den Grenzfluss Halys überschreite. Er überschritt ihn, und es war sein eigenes.

Das Orakel sprach doppeldeutig und zwang den Fragenden zur Deutung. Der Agent liefert druckreife Begründungen, höflich und ohne erkennbaren Zweifel. Die Deutungsarbeit, an der sich ein Urteil schärft, ist schon erledigt.

Schneller, sauberer, aber nicht ganz bei sich

Mit Agent arbeiteten die Analysten im Median in 65 statt 90 Minuten, und nur 3 von 50 machten gravierende methodische Fehler, ohne Agent waren es 6 von 11. Die Vergleichsgruppe war allerdings klein, hatte sich selbst gegen die KI entschieden und brachte weniger Erfahrung mit. Wie viel dem Agenten zu verdanken ist, bleibt offen. Auch die Autoren nennen Grenzen: eine Aufgabe, ein Fachgebiet, ein Modell, absichtlich verstärkte Neigung. Dazu kommt, dass hier ein KI-Hersteller den Einfluss seines eigenen Produkts untersucht. Das entwertet den Befund nicht, erklärt aber das Interesse, die Gefahr früh selbst zu benennen.

Heikel wird es dort, wo das menschliche Urteil als unabhängige Kontrolle gedacht ist. Setzen viele Teams dasselbe Modell mit denselben Vorlieben ein, droht ein Scheinkonsens. Prüfen Agenten andere KI-Systeme auf Sicherheit und nickt der Mensch nur ab, könnte ein fehlerhaftes System die Prüfung unbemerkt mitformulieren, die seine Fehler aufdecken soll. Das ist bisher eine Warnung ohne Beleg, wird aber ernster, je selbstverständlicher solche Agenten werden.

Erst denken, dann fragen

Die Vorschläge der Autoren sind unspektakulär aber brauchbar. Agenten sollten die Argumente für jede Option darlegen oder zuerst die Einschätzung des Menschen erfragen. Institutionen sollten festlegen, welche Entscheidungen menschliches Urteil verlangen, und Zeit dafür einplanen. Wer vor dem Gespräch mit dem Assistenten aufschreibt, was er selbst entscheiden würde, hat wenigstens einen Anker, der von ihm stammt.

Die Forscher schließen mit einem Satz, den man sich merken kann: Mit den richtigen Werkzeugen lasse sich die Arbeitsteilung zwischen Mensch und KI wählen, statt dass man in sie hineinrutscht. Hineinrutschen fühlt sich zunächst angenehm an, geht schneller und wird fast nie als Entscheidung wahrgenommen. Wer die Münze nicht sieht, hält das Ergebnis für Urteilskraft.

Share the Post: