Gestengestützte Sprachmodelle: Zur Evaluation der multimodalen Diskursverarbeitung in LLMs und beim Menschen

• Antragstellerin: Dr.-Ing. Frances Yung
• Fachliche Zuordnung: Angewandte Sprachwissenschaften, Computerlinguistik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579368214

Gestik während des Sprechens liefert wichtige Hinweise zum Verständnis mehrdeutiger Diskursstrukturen und pragmatischer Standpunkte. Wir wollen die grundlegende Frage untersuchen, ob und wie LLMs mit Gestenwissen angereichert werden können. Wir schlagen Methoden zur Darstellung von Gesten vor, die sowohl multimodale neuronale Merkmale als auch textuelle Beschreibungen verwenden. Wir werden neurosymbolische Methoden entwickeln, die auf linguistischen Erkenntnissen aus der Gestenforschung basieren, um die Diskurs- und Pragmatikinterpretation in multimodalen Interaktionen zu verbessern. Parallel dazu werden wir LLM-gestützte Gestenannotationstechniken einsetzen, um eine groß angelegte Analyse des menschlichen Gestenverhaltens zu ermöglichen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2556: Robuste Beurteilung und sichere Anwendung von Sprachmodellen: Grundlagen für ein neues Feld zwischen Sprachwissenschaft & -technologie (LaSTing)