Influence of spoken text on cognitive processing of complex pictorial presentations
Final Report Abstract
Das Projekt untersuchte in vier Eyetracking-Studien den Einfluss auditiver Informationstexte auf die kognitiven Prozesse bei der Verarbeitung von Kunstwerken, wie sie in TV-Dokumentationen oder in Museen und Ausstellungen präsentiert werden. Auf der Grundlage von Modellen des multimedialen Lernens und allgemeinpsychologischen Befunden zur Bild- und Szenenwahrnehmung zeigte sich anhand komplexer und detailreicher Gemälde zu geschichtlichen Ereignissen, die typischerweise zur Vermittlung historischen Wissens eingesetzt werden, ein Hinweis darauf, dass Inhalte von Bildern mit Bildtitel besser an bestehende Vorwissensstrukturen angeknüpft und dadurch besser abgerufen werden können als ohne Bildtitel, was für eine Kanalisierung der Bildinterpretation bzw. für eine Reduktion der Deutungsoffenheit von Bildern durch Bildtitel spricht. Außerdem zeigten die Ergebnisse, dass Benennungen von Bildelementen den Betrachter dazu veranlassen, seine Aufmerksamkeit auf das jeweilige Bildelement in einer bestimmten Szene zu lenken. Die Feststellung, dass dieser Benennungs- Effekt bei der visuellen Inspektion bei hoch salienten Bildelementen stärker ausgeprägt ist als bei niedrig salienten Bildelementen, zeigt, dass die visuellen Eigenschaften der Gemälde wie Zentralität oder Komposition im Verlauf der visuellen Inspektion dennoch eine dominierende Rolle spielen. Die Benennung bestimmter Bildelemente in den verbalen Erklärungen von Museumsführern oder Audioguides kann dem Betrachter jedoch helfen, automatischen Tendenzen entgegenzuwirken, sich auf zentrale Bildelemente von Gemälden oder auf menschliche Gesichter zu konzentrieren, und stattdessen wie fachkundige Bildbetrachter auf ansonsten unbemerkte Bildelemente eines Gemäldes zu achten. Die Auswirkungen der Benennung von Bildelementen gehen außerdem über die visuelle Inspektion hinaus und führen zu einer verbesserten Behaltensleistung und, was in der bisherigen Forschung erstmalig gezeigt werden konnte, zu einer besseren Identifizierung bzw. einem besseren Erinnern von benannten Bildelementen in anderen Kunstwerken, die dasselbe Thema darstellen. Wie spezifische Bildinhalte zu interpretieren sind, kann außerdem durch eine zeitlich unmittelbar aufeinanderfolgende Lokalisierung, Benennung und Interpretation der einzelnen Bildelemente im Audiotext vermittelt werden, da dies die Verknüpfung von Bild- und Audiotextinformation im Sinne der dualen Kodierung unterstützt. Für die Praxis kann geschlossen werden, dass die Benennung von Bildelementen in einem Audioguide oder durch einen Museumsführer die Museumsbesucher bei der visuellen Inspektion von Gemälden leitet und ihnen hilft, eine mentale Repräsentation des Gemäldes aufzubauen, ein adäquates Verständnis dafür zu entwickeln und dieses auf die Auseinandersetzung mit weiteren ähnlichen Kunstwerken zu übertragen. Überraschend war, dass die eingangs formulierte Annahme, dass durch Lokalisation und Benennung von Bildelementen im Audiotext die perzeptuelle und kognitive Elaboration nicht salienter, aber für das Verständnis des Bildes wichtiger Bildelemente erhöht wird, nicht bestätigt werden konnte. Vielmehr scheint es so zu sein, dass durch die Lokalisierung und Benennung von Bildelementen im Audiotext vor allem die bereits salienten Bildelemente länger angeschaut werden. Weiter war überraschend, dass zwar die räumliche Entfernung von Bildelementen in einem Gemälde im Hinblick auf die perzeptuelle Verknüpfung von Informationen von Bedeutung ist und Bildelemente, die im Bild räumlich nah beieinander sind, visuell stärker miteinander verknüpft werden als Bildelemente, die räumlich distanziert sind. Der erwartete Einfluss der zeitlichen Distanz von Benennungen im Audiotext auf die perzeptuelle und kognitive Verknüpfung konnte jedoch nicht gefunden werden. Ähnlich überraschend war, dass der Effekt der Textkohärenz auf die Erinnerung von Verknüpfungen zwischen Bilddetails und deren Interpretation vollständig durch die visuelle Aufmerksamkeit auf die referierten Bildelemente erklärt werden konnte.
Publications
-
(2020). How Verbal Cues Help To See and Understand Art. Psychology of Aesthetics, Creativity, and the Arts
Glaser, M., Knoos, M., & Schwan, S.
-
(2020). The Closer, the better? Processing relations between picture elements in historical paintings. Journal of Eye Movement Research, 13(2), Article 11
Glaser, M., Knoos, M., & Schwan, S.
