Die Bewertung von empathiebezogener linguistischer Performanz in großen Sprachmodellen: Vergleich von Surprisalwerten für die Vorhersagen des nächsten Wortes in menschlichem EEG und LLMs.

• Antragsteller: Professor Dr. Markus Werning
• Fachliche Zuordnung: Künstliche Intelligenz und Maschinelle Lernverfahren ; Kognitive und systemische Humanneurowissenschaften ; Theoretische Philosophie
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579381973

Die Fähigkeit, sich in die Emotionen eines anderen Akteurs hineinzuversetzen, ist ein wesentliches Merkmal der menschlichen Intelligenz, während allgemein angenommen wird, dass künstliche Intelligenzen (KIs), einschließlich solcher, die auf den fortschrittlichsten großen Sprachmodellen (LLMs) basieren, nicht zu Empathie fähig sind. Das Projekt wird diesen Unterschied untersuchen, um herauszufinden, ob der Kontrast zwischen menschlicher und künstlicher Intelligenz möglicherweise abgeschwächt werden muss. Das Projekt fokussiert sich auf den Zusammenhang zwischen der Verarbeitung emotionsbezogener sprachlicher Aufgaben und der Fähigkeit, sich in die Emotionen eines anderen Akteurs hineinzuversetzen. Angesichts der Tatsache, dass dieser Zusammenhang beim Menschen recht eng ist (siehe unten), stellt sich die Frage, was dies für LLM-basierte KIs bedeutet, die zunehmend in der Lage sind, emotionsbezogene sprachliche Aufgaben erfolgreich zu bewältigen. Spricht dies dafür, dass KIs gewisse Empathiefähigkeiten entwickeln können? In Bezug auf die sprachlichen Aufgaben untersuchen wir probabilistische Vorhersagen des nächsten Wortes, indem wir das semantische Surprisal in Bezug auf Emotionswörter messen. Bei Menschen führen wir zwei sprachbasierte elektrophysiologische Experimente durch und konzentrieren uns auf die N400-Komponente des ereignisbezogenen Potenzials (ERP) als Maß für semantisches Surprisal. In Bezug auf LLMs lesen wir die Wahrscheinlichkeitsverteilungen von Vorhersagen für das nächste Wort mit Open-Source-Tools (wie Hugging Face) für verschiedenen LLMs (GPT 2.0, GPT3.0, GPT 4.0, BERT, LLAMA) aus. Wie gut eignen sich die so ausgelesenen Wahrscheinlichkeitsverteilungen als Prädiktoren für semantische Surprisalwerte beim Menschen? Was sind die entscheidenden Unterschiede zwischen verschiedenen LLMs, die die humanoiden Prädiktorqualitäten von LLMs verbessern könnten? Um die Empathiefähigkeit menschlicher Probanden zu berücksichtigen, verwenden wir eine Reihe von Verhaltenstests (MET, IRI, EmBody/EmFace, AQ). Das Projekt wird mit einer theoretischen Untersuchung der Struktur von Emotionen, emotionsbezogener Sprache und der Rolle von Empathie abgeschlossen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2556: Robuste Beurteilung und sichere Anwendung von Sprachmodellen: Grundlagen für ein neues Feld zwischen Sprachwissenschaft & -technologie (LaSTing)