The influence of input modality and output modality on multitasking in language-related tasks
Final Report Abstract
Die Sprache ist für den Menschen ein wichtigstes Kommunikationsmittel. Dabei erscheint es uns zunächst einmal wichtig, was wir kommunizieren und nicht wie wir es kommunizieren. In der Tat ändert sich der Inhalt der Kommunikation nicht grundlegend in Abhängigkeit von den sensorischen Inputmodalitäten (gehörte oder gelesene Sprache) oder den motorischen Outputmodalitäten (gesprochene oder geschriebene Sprache). Dennoch konnten wir im vorliegenden Projekt zeigen, dass es modalitätsspezifische Einflüsse auf die Sprachverarbeitung gibt. Im Vordergrund standen dabei Situationen in denen mehrere sprachliche Aufgaben kurz hintereinander durchgeführt werden müssen (d.h. sprachliches Multitasking). Entsprechend sind dies auch oft Situationen in denen verschiedene Input- und/oder Outputmodalitäten kombiniert werden müssen. Unser Projekt beschäftigte sich demnach nicht mit der Frage nach dem Einfluss einzelner Modalitäten, sondern vor allem mit deren Kombinierbarkeit. In einem ersten Teilprojekt konnten wir zeigen, dass Personen das Wechseln zwischen zwei Sprachen leichter fällt (d.h. es entstehen geringere Sprachwechselkosten), wenn sie zwischen einer Vokal- und einer Gebärdensprache (z.B. Deutsch und Deutsche Gebärdensprache) wechseln anstatt zwischen zwei Vokalsprachen (z.B. Deutsch und Englisch). Dieser bimodale Vorteil beim Wechseln zwischen zwei Sprachen in zwei unterschiedlichen Outputmodalitäten (im Vergleich zum Wechseln zwischen zwei Sprachen in der gleichen Outputmodalität) war dabei allerdings nicht alleine auf die Verwendung von zwei unterschiedlichen Outputmodalitäten zurückzuführen. Vielmehr zeigen unsere Ergebnisse einen zusätzlichen Einfluss der phonologischen Überlappung. Ein bimodaler Vorteil trat nur dann auf, wenn sich die beiden Sprachen sowohl in der Phonologie als auch in der Outputmodalität unterschieden. Darüber hinaus war der bimodale Vorteil auch auf die Sprachproduktion beschränkt und konnte in der Sprachperzeption (d.h. bei der Verwendung unterschiedlicher Inputmodalitäten) nicht gezeigt werden. Damit weisen unsere Ergebnisse auch auf einen Unterschied zwischen Sprachproduktion und Sprachperzeption hinsichtlich modaltätsspezifischer Einflüsse und hinsichtlich kognitiver Kontrollmechanismen hin. In einem zweiten Teilprojekt stand die Kombinierbarkeit von Input- und Outputmodalitäten im Vordergrund. Wir konnten zeigen, dass es auch bei sprachlichen Aufgaben geringere Wechselkosten beim Wechseln zwischen kompatiblen (auditiv-vokal und visuell-manuell) als beim Wechseln zwischen inkompatiblen (auditiv-manuell und visuell-vokal) Input/Output Modalitätskombinationen auftreten. Die Reduktion der Wechselkosten kann in diesem Fall auf ein Priming zwischen kompatiblen Modalitäten zurückgeführt werden, d.h. zwischen den Inputmodalitäten und Outputmodalitäten, die durch Feedbackschleifen direkter miteinander verbunden sind. Unsere Ergebnisse geben darüber hinaus noch erste Hinweise darauf, dass diese Form des Primings gerade bei sprachlichen Aufgaben und verbalem Input besonders groß ist. Zusammenfassend konnten wir in unserem Projekt nachweisen, dass in komplexen Situationen des sprachlichen Multitaskings die Kombination verschiedener Input- und/oder Outputmodalitäten sowie die Kombination von Input- und Outputmodalität eine wichtige Rolle spielt. Unsere Ergebnisse tragen daher zum einen zu einem besseren Verständnis kognitive Kontrollprozesse im sprachlichen Multitasking bei und zeigen zum anderen die Notwendigkeit modalitätsspezifische Einflüsse bei sprachlichen Aufgaben in der Zukunft stärker zu berücksichtigen.
Publications
- (2016). Semantic effects on sensory-motor modality switching. Journal of Cognitive Psychology, 28, 726-742
Schaeffner, S., Koch, I., & Philipp, A.M.
(See online at https://doi.org/10.1080/20445911.2016.1181636) - (2016). The role of sensory-motor modality compatibility in language processing. Psychological Research, 80, 212-223
Schaeffner, S., Koch, I., & Philipp, A.M.
(See online at https://doi.org/10.1007/s00426-015-0661-1) - (2017). Bimodal language switching: New insights from signing and typing. Journal of Memory and Language, 94, 1-14
Schaeffner, S., Fibla, L., & Philipp, A.M.
(See online at https://doi.org/10.1016/j.jml.2016.11.002) - (2018). Sensory-motor modality compatibility in multitasking: The influence of processing codes. Acta Psychologica, 191, 210-218
Schaeffner, S., Koch, I., & Philipp, A.M.
(See online at https://doi.org/10.1016/j.actpsy.2018.09.012) - (2018). The role of learning in sensory-motor modality switching. Psychological Research, 82, 955–969
Schaeffner, S., Koch, I., & Philipp, A.M.
(See online at https://doi.org/10.1007/s00426-017-0872-8)
