Finden automatische Validierungs- und Reaktivierungsprozesse auch beim Lernen mit Texten und Bildern statt?
Zusammenfassung der Projektergebnisse
Text-Bild-Kombinationen spielen eine zentrale Rolle bei der Wissensvermittlung. Der empirisch beobachtete lernförderliche Effekt von Text-Bild-Kombinationen gegenüber alleiniger Textdarbietung wird damit erklärt, dass Lernende relevante Informationen selegieren, in ein verbales und ein bildhaftes mentales Modell organisieren und diese Modelle integrieren. Zusätzlich zu diesen Prozessen könnten jedoch auch passive Reaktivierungs- und Validierungsprozesse eine zentrale Rolle spielen, wie das RI-Val Model von Cook und O’Brien (2014) nahelegt. Der Reaktivierungsprozess reaktiviert Informationen, die nicht mehr im Arbeitsgedächtnis sind, aber mit aktuell im Arbeitsgedächtnis befindlichen Informationen überlappen. Diese reaktivierten Informationen werden dann mit der aktuellen Information integriert. Der Validierungsprozess prüft, ob diese Integration vor dem Hintergrund von Weltwissen oder dem Diskurskontext konsistent ist. Diese Prozesse sind passiver Natur und laufen automatisch ab. In dem von der DFG-geförderten Projekt wurde untersucht, ob bei der Verarbeitung von Text-Bild-Kombinationen automatische cross-modale Reaktivierungs- und Validierungsprozesse stattfinden, also ob beim Lesen eines Textes Bildinhalte reaktiviert werden und umgekehrt und inwiefern die Passung von Text- und Bildinhalten validiert wird. In einer Experimentalreihe mit dem epistemischen Stroop Paradigma konnten wir in vier Experimenten nachweisen, dass cross-modale Validierungsprozesse sowie Reaktivierungs- und Validierungsprozesse sowohl bei Textmaterial bestehend aus einem Satz als auch bestehend aus mehreren Sätzen jeweils kombiniert mit Bild stattfinden. Der Vorteil des Stroop Paradigmas liegt in der isolierten Untersuchung der Prozesse, der Nachteil in der künstlichen Natur des Materials. In einer weiteren Experimentalreihe verwendeten wir daher das Widerspruchsparadigma. Hierbei wurden längere Texte in konsistenter (d.h. ohne Widerspruch) oder inkonsistenter Version (d.h. ein Zielsatz widersprach dem vorherigen Diskurskontext) dargeboten. Mithilfe von Lesezeiten in Online-Studien, Reaktionszeiten auf Testfragen, sowie Eyetracking im Labor untersuchten wir, ob cross-modale Reaktivierungs- und Validierungsprozesse auch bei (komplexeren) illustrierten Texten eine Rolle spielen. Die Lesezeiten und Reaktionszeiten auf Testfragen deuteten darauf hin, dass Text- und/oder Bildinhalte während der Textverarbeitung reaktiviert wurden, was in den Eyetracking-Experimenten jedoch – zum aktuellen Zeitpunkt – nicht nachgewiesen werden konnte. In einem letzten Experiment untersuchten wir, ob Bilder die Reaktivierung, Integration und Validierung veralteter und aktueller Informationen bei der Verarbeitung von Refutation Text unterstützen. Hier scheint es, dass Bilder keinen zusätzlichen Vorteil haben. Dieses Forschungsprojekt schließt eine bisher bestehende Forschungslücke, indem crossmodale, passive Reaktivierungs- und Validierungsprozesse bei der Verarbeitung von Multimedia nachgewiesen wurden. Die Erforschung der dem Lernen zugrundeliegenden Prozesse ist zentral, um praxisrelevante Empfehlungen zur Gestaltung von Multimedia abzuleiten.
Link zum Abschlussbericht
https://doi.org/10.23668/psycharchives.21160
Projektbezogene Publikationen (Auswahl)
-
Reaktivierungs- und Validierungsprozesse beim Lernen mit Text und Bild. 18. Tagung der Fachgruppe Pädagogische Psychologie (PaePsy) 2021. Pädagogische Hochschule Heidelberg. [Runder Tisch]
Frick, P. & Schüler, A.
-
Does the RI-Val model also apply to illustrated texts? 32nd Annual Meeting of the Society for Text & Discourse (ST&D). Georgia State University. Atlanta, GA, USA. [Talk]
Frick, P. & Schüler, A.
-
Not just texts – reactivation, integration, and validation processes also apply to illustrated texts. European Association for Research on Learning and Instruction (EARLI). Special Interest Group (SIG) 2. Kiel. [Talk]
Frick, P. & Schüler, A.
-
Text-picture combinations are integrated and validated automatically. 64. Tagung experimentell arbeitender Psycholog:innen (TeaP) - Conference of Experimental Psychologists. University of Cologne (online conference). [Talk]
Frick, P. & Schüler, A.
-
Dataset and code for: Extending the theoretical foundations of multimedia learning: Activation, integration, and validation occur when processing illustrated texts
Frick, P. & Schüler, A.
-
Extending the theoretical foundations of multimedia learning: Activation, integration, and validation occur when processing illustrated texts. Learning and Instruction, 87, 101800.
Frick, Pauline & Schüler, Anne
-
Kognitive Prozesse bei der Verarbeitung von Text- Bild-Kombinationen. Eingeladener Vortrag auf der Tagung Schrift / Bild – Lesen. Interdisziplinäre Perspektiven. Universität zu Köln
Schüler, A.
-
Reading research meets multimedia: textpicture combinations are validated automatically. 20th Biennial Conference of the European Association for Research on Learning and Instruction (EARLI). Thessaloniki, Greece. [Talk]
Schüler, A. & Frick, P.
-
Specifying the cognitive processes underlying the processing of multimedia materials. Invited talk at the Universitá degli Studi di Padova. Padua, Italy
Schüler, A.
-
The cognitive processes when reading and learning with illustrated texts. Winter School Eye Tracking - Experimental Design, Implementation, and Analysis. ETH Zürich, Monte Verita, Switzerland. [Poster]
Frick, P. & Schüler, A.
-
Cross-modal activation, integration, and validation processes when reading illustrated texts: An eye-tracking study. Visual Language (VisLang) Conference 2024. Tilburg University, Netherlands. [Talk]
Frick, P., Hoch, E. & Schüler, A.
-
Cross-modal validation processes occur during processing multimedia materials. European Association for Research on Learning and Instruction (EARLI). Special Interest Group (SIG) 2. Valencia, Spain. [Talk]
Schüler, A. & Frick, P.
-
Dataset and code for: Do passive cross-modal validation processes occur when processing multimedia materials?
Schüler, A. & Frick, P.
-
Do passive cross-modal validation processes occur when processing multimedia materials?. Learning and Instruction, 93, 101956.
Schüler, Anne & Frick, Pauline
-
Synthesizing text comprehension and multimedia learning research: text-picture combinations are activated, integrated and validated automatically. 66. Tagung experimentell arbeitender Psycholog:innen (TeaP) - Conference of Experimental Psychologists. University of Regensburg. [Talk]
Frick, P. & Schüler, A.
