Detailseite
Projekt
Propositionale Einstellungen in großen Sprachmodellen (PALLM)
Antragsteller
Dr. Robert Pasternak, Ph.D.
Fachliche Zuordnung
Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
Förderung
Förderung seit 2026
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579297085
Jahrzehnte interdisziplinärer Forschung zur Bedeutung von Einstellungsverben wie „glauben” und „wollen”, haben tiefe Einblicke darin geliefert, wie Menschen Sprache verwenden, um mentale Zustände zu beschreiben. Dieses Projekt wird als erstes untersuchen, wie große Sprachmodelle (LLMs) solche Verben verwenden, und dabei LLMs sowohl mit Menschen als auch untereinander vergleichen. Das Verständnis von Einstellungen durch LLMs wird die zukünftige Forschung sowohl in der KI als auch in der Linguistik zu beeinflussen. In der KI haben Einstellungen eine entscheidende Rolle im Zusammenhang mit LLMs gespielt, wie z. B. den vermuteten Fähigkeiten von LLMs zur Theory of Mind sowie ihrer Verwendung für die Klassifizierung von Nutzer-Absichten. Darüber hinaus verwenden viele LLM-Prompts, die in führenden KI-Produkten zum Einsatz kommen, Einstellungsverben, um das Verhalten von KI-Agenten zu steuern, z. B. indem sie sie dazu auffordern, auf der Grundlage ihrer eigenen Überzeugungen oder der wahrgenommenen Wünsche ihrer menschlichen Gesprächspartner zu handeln. Daher ist das Verständnis, wie LLMs Einstellungen verstehen, auch für die KI-Sicherheit und Nutzerorientierung wichtig. Aus linguistischer Sicht kann uns die Beobachtung, wo LLMs bei der Interpretation von Einstellungen erfolgreich sind und wo sie scheitern, wichtige Informationen darüber liefern, was für den Spracherwerb notwendig ist. Einstellungen sind besonders interessant, weil sie eine einzigartige Herausforderung für den Spracherwerb darstellen: „glauben” und „wollen” haben nicht die gleichen offensichtlichen physischen Entsprechungen wie z. B. „klatschen”, so dass Menschen stark auf distributionelle Informationen angewiesen sind, um Bedeutungen zu erschließen. Und wenn LLMs den menschlichen Sprachgebrauch nicht nachahmen können, dann deutet dies darauf hin, dass mehr als nur eine Menge an Trainingsdaten erforderlich ist. Hier ist auch ein Vergleich zwischen LLMs wertvoll, da die Korrelation von Leistungsunterschieden mit Modellunterschieden hilfreiche Erkenntnisse liefern kann. Auf empirischer Ebene wird sich das Projekt auf drei Themen konzentrieren. Thema 1 sind Implikationen in ihren Komplementen: Wann impliziert „X will J“ logischerweise „X will K“ und ebenso für „glauben“ usw.? Thema 2 sind Konstruktionen zur Messung von Einstellungen: Was bedeutet es, wenn „X will J mehr als Y will K“ gilt? Thema 3 sind Fälle, in denen die Wahrheitsbedingungen einer Einstellungsaussage durch das syntaktische oder pragmatische Umfeld beeinflusst werden (sogenannte „eingeschränkte Lesarten“). Für jeden empirischen Bereich kombiniert das Projekt Sprachtheorie, Psycholinguistik (für diejenigen Phänomene, bei denen das empirische Bild noch nicht abschließend geklärt ist) und KI-Forschung. Zusätzlich umfasst das Projekt auch die Entwicklung neuer Open-Source-Software für die Sprachforschung zu LLMs sowie die Erstellung eines neuen Benchmark-Datensatzes zur Bewertung aktueller und zukünftiger LLMs.
DFG-Verfahren
Schwerpunktprogramme
