DFG-Projekt „Moral Hallucinations“ erforscht moralische Fehlschlüsse von Sprachmodellen

Ein interdisziplinäres Team um die Ethikerin Prof. Dr. Karoline Reinhardt und die Computerlinguistin Prof. Dr. Annette Hautli-Janisz von der Universität Passau untersucht ein bislang wenig beachtetes Phänomen bei KI-Halluzinationen: Wenn Sprachmodelle moralische Fehlschlüsse produzieren, die stark von menschlichen Werten abweichen.

Immer mehr Menschen nutzen Large Language Models (LLMs) wie GPT, PaLM oder Llama– und zwar nicht nur für einfache Informationsabfragen sondern auch für Beratung in lebenspraktischen Fragen. Nicht selten kommt es bei der Nutzung solcher Systeme zu sogenannten Halluzinationen. Das heißt, die LLMs liefern Antworten, die zwar realistisch erscheinen, aber sachlich falsch oder irreführend sind.

Ein interdisziplinäres Team um die Ethikerin Prof. Dr. Karoline Reinhardt und die Computerlinguistin Prof. Dr. Annette Hautli-Janisz forscht im DFG-Projekt „Moral Hallucinations in Large Language Models“ zu einer bisher wenig beachteten Art solcher erfundenen KI-Antworten. Im Fokus des Projekts stehen moralische Halluzinationen, die entstehen können, wenn Personen LLMs für ethisch relevante Fragen nutzen. Zum Beispiel, wenn sie die Maschine fragen, ob es immer eine moralische Pflicht ist, ein Versprechen einzuhalten.

„Moralische Halluzinationen gehen damit über konventionelle KI-Halluzinationen hinaus. Es handelt sich nicht nur um fehlerhafte oder unzuverlässige Informationen, sondern auch um Verzerrungen in moralischen Argumentationsstrukturen“, erklärt Prof. Dr. Reinhardt, Inhaberin der Professur für Angewandte Ethik an der Universität Passau. „Und das oft in Situationen, in denen Menschen vulnerabel sind, Rat suchen, nicht weiterwissen“.

Struktur und Folgen von moralischen KI-Halluzinationen

Das interdisziplinäre Forschungsprojekt an der Universität Passau kombiniert konzeptionelle und empirische Methoden aus der Angewandten KI-Ethik und der Computerlinguistik mit dem Ziel, LLM-generierte moralische Halluzinationen theoretisch zu erfassen, ethisch zu bewerten und automatisch zu identifizieren. Dazu verfolgt das Forschungsteam Fragen, die die Struktur von moralischen Halluzinationen wie auch ihre ethischen Folgen betreffen. Zum Beispiel: Was sind zentrale Merkmale von moralischen Halluzinationen? Welche ethischen Konsequenzen folgen daraus, wenn moralische Behauptungen von LLMs nicht nur Vorurteile enthalten, sondern Halluzinationen sind? Worin bestehen die argumentativen Strukturen von moralischen Halluzinationen und wie verhalten sie sich zur moralischen Urteilsbildung in philosophischen Theorien? Welche ethischen Konsequenzen hat die Nutzung von LLMs als moralische Ratgeber? Wie könnten LLMs so gestaltet werden, dass sie moralische Halluzinationen markieren?

„Es besteht ein dringender Bedarf, bisherige Benchmarks zu erweitern und Modelle detaillierter zu evaluieren, vor allem im Bereich der moralischen Argumentation”, sagt Prof. Dr. Hautli-Janisz, Inhaberin der Juniorprofessur für Computational Rhetoric and Natural Language Processing. Dies sei zudem ein Bereich, der in der Computerlinguistik bisher nur wenig erforscht ist.

Gefördert wird das Projekt von der Deutschen Forschungsgemeinschaft (DFG) über eine Laufzeit von drei Jahren im Rahmen des DFG-Schwerpunktprogramms „Robust Assessment & Safe Applicability of Language Modelling: Foundations for a New Field of Language Science & Technology (LaSTing)“ (SPP 2556). Es handelt sich dabei um ein 2026 aufgelegtes Förderprogramm, das interdisziplinäre Forschung unter anderem an der Schnittstelle von Linguistik, Informatik, KI und Philosophie bündelt.