Der Pragmatik-Test: wie Menschen und LLMs Präsuppositionen verstehen

• Antragstellerinnen: Dr. Nadine Bade; Professorin Dr. Miriam Butt
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen ; Angewandte Sprachwissenschaften, Computerlinguistik
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579385859

Das Projekt untersucht die Robustheit und Zuverlässigkeit von Large Language Models (LLMs) bei der Interpretation von Präsuppositionen im Rahmen paralleler Human-Machine-Experimente. Präsuppositionen spielen eine zentrale Rolle in persuasiven Kommunikationsstrategien, etwa im Framing, da sie Informationen indirekt in den gemeinsamen Diskurs einführen. Dieser Mechanismus der Akkommodation trägt maßgeblich zu ihrer Überzeugungskraft bei und erklärt, warum Ausdrücke wie wieder/again in politischen Slogans, Policy-Dokumenten oder Werbung so häufig auftreten. Während die deskriptive Forschung die Bedeutung von Präsuppositionen für persuasive und manipulative Kommunikation herausgestellt hat, existieren bislang nur wenige experimentelle Studien zur tatsächlichen Wirksamkeit präsupponierter Inhalte. Erste Ergebnisse zeigen zudem, dass LLMs Schwierigkeiten haben, Präsuppositionen zuverlässig zu identifizieren und korrekt aufzulösen – insbesondere in Kontexten mit hohem Risiko für Fehlinformation. Unser Projekt schafft eine systematische empirische Grundlage, indem wir die Performanz von LLMs und menschlichen Versuchspersonen in Aufgaben zur Präsuppositionsauflösung vergleichen. Dabei werden unterschiedliche kommunikative Kontexte berücksichtigt, um sowohl lexikalische Trigger als auch diskursive Faktoren in die Modellierung einzubeziehen. Aufbauend auf diesen Ergebnissen entwickeln wir rechnergestützte Modelle, die semantische und pragmatische Analysen kombinieren und so eine verbesserte Detektion und Auflösung von Präsuppositionen ermöglichen. Methodisch verbinden wir computergestützte Arbeiten zur automatischen Erkennung und Annotation von Framing-Phänomenen mit experimentellen Studien zur Interpretation von Präsuppositionen. Im Zentrum stehen drei Ziele: (i) die Evaluation von LLMs durch verhaltensbasierte Tests in Analogie zu etablierten psycholinguistischen Methoden, (ii) die Untersuchung, ob semantisches Parsing und formale Repräsentationen das Training und Fine-Tuning von LLMs verbessern können, sowie (iii) die Entwicklung neuer Ressourcen – darunter annotierte Korpora und methodische Leitlinien – für die experimentelle und computerlinguistische Forschung zu Präsuppositionen. Langfristig soll so geklärt werden, inwiefern LLMs als Werkzeuge zur Erkennung präsuppositionsbasierter Biases in sensiblen Kommunikationskontexten eingesetzt werden können. Zugleich erwarten wir einen Beitrag zur theoretischen Pragmatik, indem formale Modelle von Präsuppositionen durch die Ergebnisse aus parallelen Human-Machine-Experimenten erweitert und präzisiert werden.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2556: Robuste Beurteilung und sichere Anwendung von Sprachmodellen: Grundlagen für ein neues Feld zwischen Sprachwissenschaft & -technologie (LaSTing)