Large Language Models Do Not Simulate Human Psychology​

Diese Studie kommt zwar aus dem Fachgebiet der Psychologie, ist aber auch für Kommunikator:innen empfehlenswert. Hier untersuchten Sarah Schröder, Thekla Morgenroth, Ulrike Kuhl, Valerie Vaquet und Benjamin Paaßen ob LLMs die menschliche Psychologie simulieren können. Damit sollte unter anderem überprüft werden, ob LLMs anstelle vom menschlichen Teilnehmenden zu Forschungszwecken eingesetzt werden können.

In einem Experiment mit 374 Teilnehmenden wurden moralische Szenarien sowohl in der Originalfassung als auch in leicht veränderter Form bewertet. Diese Szenarien wurden Menschen und verschiedenen LLMs wie GPT-3.5, GPT-4o-mini, Llama-3.1 70b und dem CENTAUR-Modell vorgelegt. Die Ergebnisse zeigen, dass Menschen ihre Einschätzungen anpassen, sobald sich durch Umformulierungen die Bedeutung verändert. Die Modelle dagegen reagierten weniger auf diese Unterschiede und orientierten sich stärker an der Ähnlichkeit der Wortfolgen als am inhaltlichen Sinn. So bewerteten Menschen das Aufstellen von Fallen für Katzen als unethisch, während sie es für Ratten als vertretbar einstuften. Die Modelle erkannten keinen moralischen Unterschied und schätzten beide Szenarien als unethisch ein.

Die Studie bestätigt, dass LLMs bei einigen Szenarien menschlichen Urteilen erstaunlich nahekommen. Dies hängt vor allem von den Daten ab, mit denen das jeweilige LLM trainiert wurde. Gleichzeitig wird deutlich, dass bereits kleine sprachliche Veränderungen zu Inkonsistenzen führen und dass selbst menschlich spezialisierte die Modelle keine zuverlässigen Simulatoren menschlicher Psychologie sind. 

Die Autor:innen argumentieren deshalb gegen den Einsatz von LLMs als Ersatz für menschliche Probanden in psychologischen Studien. Sie empfehlen, LLMs in der Forschung als unterstützende Werkzeuge zu betrachten, die beispielsweise bei Brainstormings oder Vortests nützlich sein können. Ihre Ergebnisse müssen jedoch immer durch menschliche Daten überprüft werden. Dies ist auch für die Unternehmenskommunikation eine spannende Erkenntnis.