The influence of top-down control on feedback processing and reinforcement learning in decision tasks
Final Report Abstract
Die Verarbeitung von externem Feedback ist eine wichtige Voraussetzung für optimales Entscheidungsverhalten. Feedback ermöglicht es, das Ergebnis früherer Entscheidungen zu nutzen, um zukünftige Entscheidungen zu verbessern. Seit vielen Jahren wird Lernen aus Feedback in Entscheidungsaufgaben vor allem aus der Perspektive des Verstärkungslernens betrachtet. Feedback wird hierbei als Verstärker gesehen, der zu einer Anpassung von Reiz-Reaktions-Assoziationen in einer Aufgabe führt. Unterstützung für diese Sichtweise kommt aus Studien, die Feedback mittels Ereigniskorrelierter Potenziale (EKPs) untersucht haben. Das vorliegende Projekt untersucht, ob und wie feedbackbezogene neuronale Aktivität in EKPs sowie Lernen durch Top-Down Kontrollprozesse beeinflussbar ist. In einer Reihe von Experimenten wurden Versuchspersonen über die Reliabilität von Feedback instruiert. Die Reliabilität bezeichnet hierbei die Wahrscheinlichkeit, dass das Feedback die tatsächliche Korrektheit einer Antwort anzeigt und somit dieselbe Antwort bei derselben Entscheidung erneut zum selben Feedback führt. Durch die Manipulation dieser Reliabilität wird eine Situation geschaffen, in der es mehr oder weniger günstig ist, aus Feedback zu lernen und in der Top-Down Prozesse mehr oder weniger Verstärkungslernen beeinflussen sollten. Hierbei wurden eine Reihe von Ergebnissen erzielt: (1) Die Reliabilität von Feedback beeinflusst Lernen und feedbackbezogene Aktivität über Top-Down Kontrolle, auch dann wenn die Reliabilität nur instruiert, aber nicht objektiv manipuliert wurde. (2) Implizites Kontingenzlernen spielt bei diesen Phänomenen keine erkennbare Rolle. (3) Die Effekte dieser Top-Down Kontrolle können am besten durch einen Top-Down Devaluationsmechanismus erklärt werden, der unreliables Feedback entwertet und somit die Bildung von Vorhersagefehlern im Lernprozess beeinflusst. (4) Erfordert eine Entscheidung modell-basiertes Lernen, also die Bildung von Erwartungen aufgrund explizitem Wissen, dann wird Feedback zusätzlich im Arbeitsgedächtnis evaluiert. (5) Die Verarbeitung von unreliablem Feedback wird außerdem durch Modulation der Aufmerksamkeit beeinflusst. Zusammengenommen zeigen diese Befunde, dass Verstärkungslernen kein rein automatischer Prozess ist, sondern vielmehr durch explizites Wissen beeinflussbar ist. Dies hat fundamentale Konsequenzen für Modelle und Theorien des Lernens und der Entscheidungsfindung.
Publications
- (2019) Differential effects of instructed and objective feedback reliability on feedback-related brain activity. Psychophysiology 56 (9) e13399
Di Gregorio, Francesco; Ernst, Benjamin; Steinhauser, Marco
(See online at https://doi.org/10.1111/psyp.13399) - (2017). Top-down control over feedback processing: The probability of valid feedback affects feedback-related brain activity. Brain & Cognition, 115, 33-40
Ernst, B. & Steinhauser, M.
(See online at https://doi.org/10.1016/j.bandc.2017.03.008) - (2018). Effects of feedback reliability on feedback-related brain activity: A feedback valuation account. Cognitive, Affective, & Behavioral Neuroscience, 18, 596-608
Ernst, B., & Steinhauser, M.
(See online at https://doi.org/10.3758/s13415-018-0591-7)
