Kopplung von aktivem Sehen und multimodalem Sprachverstehen (C05)

• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung von 2016 bis 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 261402652

Projekt C5 analysiert Blickbewegungen um zu klären, wie Menschen visuelle Hinweise aus der Umgebung nutzen, wenn sie gleichzeitig sprachliche Äußerungen hören, die sich auf diese Umgebung beziehen. Die Erkenntnisse dieser Untersuchungen sollen einerseits zur Verbesserung existierender Computermodelle für das visuell unterstützte Sprachverstehen, andererseits aber auch zur Steigerung der Wirksamkeit des modalitätsübergreifenden Lernens beim Menschen genutzt werden. Die Experimente werden untersuchen, wie kognitive Aktivitäten und kulturelle Besonderheiten die Blickbewegungen beeinflussen.

• DFG-Verfahren: Transregios
• Teilprojekt zu: TRR 169: Crossmodales Lernen: Adaptivität, Prädiktion und Interaktion
• Internationaler Bezug: China
• Antragstellende Institution: Universität Hamburg
• Mitantragstellende Institution: Chinese Academy of Sciences
• Teilprojektleiterinnen / Teilprojektleiter: Professor Dr. Xingshan Li; Professor Dr. Wolfgang Menzel; Professorin Dr. Qingqing Qu