Multisensorische Integration, Rekalibrierung und die Reduktion von cross-modalen perzeptuellen Diskrepanzen

• Antragsteller: Professor Dr. Christoph Kayser
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 425795980

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Positionen von Objekten und Körperteilen können über verschiedene Sinnesmodalitäten erfasst werden. Die jeweiligen Schätzungen stimmen aber nur selten überein, da unsere Sensorik Zufallsschwankungen unterliegt und Zustände von Körper und Umwelt variieren. Diskrepante Schätzungen führen zu multisensorischer Integration und sensorischer Rekalibrierung (bei motorischen Aufgaben auch zu motorischer Adaptation). Integration wird bei der Wahrnehmung diskrepanter bimodaler Reize beobachtet, z.B. visuelle und akustische Reize in verschiedenen Positionen. Rekalibrierung wird bei unimodalen Reizen beobachtet, die einem oder mehreren bimodalen Reizen folgen. In beiden Fällen ist die wahrgenommene Position jedes Reizes in Richtung der Position des gleichzeitigen oder vorhergehenden diskrepanten Reizes verschoben. Das Projekt diente der Identifikation von Gemeinsamkeiten und Unterschieden von Integration und Rekalibrierung mit Hilfe zweier experimenteller Paradigmen, einem audio-visuellen und einem visu-motorischen. Integration und Rekalibrierung sind nur bei gemeinsamer Quelle diskrepanter Positionsschätzungen sinnvoll. Ihre Stärke sollte von expliziten Urteilen über gemeinsame/verschiedene Quellen abhängen bzw. der Evidenz für eine gemeinsame Quelle (z.B. Gleichzeitigkeit von Reizen). Die Stärke der Integration erwies sich als von unmittelbarer Evidenz für eine gemeinsame Quelle abhängig, die Stärke der Rekalibrierung aber eher von längerfristiger Evidenz. Diese verschiedenen Zeitskalen passen zu unserem Befund, dass Integration nur von der aktuellen räumlichen Diskrepanz abhängt und nicht von vorhergehenden Diskrepanzen, während Rekalibrierung kumulativ ist. Unter natürlichen Bedingungen gibt es meist mehrere visuelle Reize, die die gleiche Quelle haben könnten wie z.B. ein akustischer Reiz. Wer wird für Integration und/oder Rekalibrierung ausgewählt? Tatsächlich wird nicht ein einzelner visueller Reiz ausgewählt, sondern die wahrgenommene Position eines Tons (oder der Hand) wird durch die Positionen zweier visueller Reize in abgestufter Weise angezogen. Der Einfluss jedes einzelnen visuellen Reizes hängt von der spezifischen Evidenz für eine gemeinsame Quelle ab, variiert durch den zeitlichen Abstand, aber auch von der Gesamtkonfiguration der Reize. Integration und Rekalibrierung sind asymmetrisch. Beispielsweise ist die wahrgenommene Position eines akustischen Reizes stark zur Position eines synchronen visuellen Reizes verschoben, aber die wahrgenommene Position des visuellen Reizes ist kaum oder gar nicht betroffen. Sowohl für Integration wie auch für Rekalibrierung kann die Asymmetrie von den relativen Zuverlässigkeiten der diskrepanten Schätzungen abhängen. Wir zeigen eine solche Abhängigkeit auch dann, wenn die relativen Zuverlässigkeiten mit Hilfe der perzeptiven Urteile manipuliert werden. Wirkungen der Zuverlässigkeiten von Positionsschätzungen hängen folglich nicht nur von sensorischen Prozessen ab, sondern auch von den nachfolgenden Handlungen.

Projektbezogene Publikationen (Auswahl)

• Visuo-proprioceptive integration and recalibration with multiple visual stimuli. Scientific Reports, 11(1).
  Debats, Nienke B.; Heuer, Herbert & Kayser, Christoph
  
• Cumulative multisensory discrepancies shape the ventriloquism aftereffect but not the ventriloquism bias. Cold Spring Harbor Laboratory.
  Kayser, Christoph; Park, Hame & Heuer, Herbert
  
• Cumulative multisensory discrepancies shape the ventriloquism aftereffect but not the ventriloquism bias. PLOS ONE, 18(8), e0290461.
  Kayser, Christoph; Park, Hame & Heuer, Herbert
  
• Different time scales of common‐cause evidence shape multisensory integration, recalibration and motor adaptation. European Journal of Neuroscience, 58(5), 3253-3269.
  Debats, Nienke B.; Heuer, Herbert & Kayser, Christoph
  
• Short-term effects of visuomotor discrepancies on multisensory integration, proprioceptive recalibration, and motor adaptation. Journal of Neurophysiology, 129(2), 465-478.
  Debats, Nienke B.; Heuer, Herbert & Kayser, Christoph
  
• Both stimulus‐specific and configurational features of multiple visual stimuli shape the spatial ventriloquism effect. European Journal of Neuroscience, 59(7), 1770-1788.
  Kayser, Christoph; Debats, Nienke & Heuer, Herbert