Komputationale Semantik der abgestuften Sprache-Gestik-Integration mit VR-Technologie (CoSGrIn-VR)

• Antragsteller: Dr. Andy Lücking; Professor Dr. Alexander Mehler
• Fachliche Zuordnung: Angewandte Sprachwissenschaften, Computerlinguistik ; Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502018965

Das CoSGrIn-VR-Projekt untersucht die komputationell-semantischen Mechanismen der Sprach-Gestik-Integration, eine Forschungslücke in der formalen Semantik und der multimodalen Kommunikationsforschung. Es ist in komputationaler Semantik wenig darüber bekannt, wie Gesten Bedeutung erlangen und wie gestische Bedeutung mit sprachlicher Bedeutung interagiert. Das Projekt stellt ganzheitliche und gestaltbasierte Modelle infrage, indem es eine komputationale Semantik der Sprach-Gestik-Integration entwickelt, die (1) formal modelliert, (2) rechnerisch implementierbar, (3) experimentell in virtueller Realität (VR) testbar und (4) kognitiv interpretierbar ist. CoSGrIn-VR konzentriert sich auf zwei zentrale Forschungsbereiche: (i) die Entwicklung komputationaler semantischer Modelle zur Erkennung von Acting-Gesten und (ii) die Erweiterung des GeMDiS-Modells aus der ersten Förderphase zur Verarbeitung abgestufter Exemplifikation, um Fälle zu erfassen, in denen Gesten nur teilweise oder indirekt mit der Sprache verbunden sind. Der erste Forschungsbereich untersucht, wie wahrnehmungsbasierte Aktionsklassifikatoren darstellende Gesten erfassen können, die Handlungen simulieren. Der zweite Forschungsbereich analysiert die Informationsunsicherheit in der Sprach-Gestik-Integration durch die Untersuchung quantifizierter Nominalphrasen und Verweise auf atypische Objekte. Methodisch nutzt das Projekt Interaktionsverifikationsspiele in VR-Umgebungen zur Überprüfung seiner Modelle. Diese immersiven Experimente erfassen multimodale Daten, darunter Körperbewegungen, Gesten, räumliches Verhalten und Blickbewegungen. Darüber hinaus strebt CoSGrIn-VR die Entwicklung eines KI-basierten VR-Labors an, um die experimentelle Kontrolle durch Avatare zu verbessern und die Annotation multimodaler Kommunikation zu automatisieren. Ein zentraler Bestandteil dieses Ansatzes ist das Multi-perspective Annotation Model (MAM), das eine systematische und weitgehend automatische Annotation multimodaler experimenteller Daten ermöglicht. Die Verbindung linguistischer Theorie, rechnergestützter Modellierung und VR-basierter empirischer Tests positioniert CoSGrIn-VR als einen neuartigen Ansatz zur Erforschung der abgestuften Natur der Sprach-Gestik-Integration und ihrer Implikationen für die visuelle Kommunikation.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)