Rekurrente Neuronale Netzwerkmodelle für Explorationsverhalten in dynamischen Umgebungen

• Antragsteller: Professor Dr. Jan Peters
• Fachliche Zuordnung: Kognitive und systemische Humanneurowissenschaften ; Experimentelle und theoretische Netzwerk-Neurowissenschaften
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 496990750

Rekurrente neuronale Netze (RNN) stoßen auf zunehmendes Interesse in den kognitiven und systemischen Neurowissenschaften. Diese Modelle wurden erfolgreich auf Lernaufgaben aus der Psychologie und den Humanneurowissenschaften trainiert, und könnten neue Erkenntnisse im Hinblick auf die computationalen Mechanismen liefern, die höheren kognitiven Funktionen zugrunde liegen. In der ersten Förderperiode wurden rekurrente neuronale Netze genutzt, um ein fundamentales Problem des Belohnungslernens zu beleuchten, den „Exploration/Exploitation-Trade-off“. Dieser bezeichnet ein Entscheidungsdilemma: soll eine bekannte Option zur Belohnungsmaximierung ausgewählt werden („Exploitation“), oder soll eine unbekannte Option zum Informationsgewinn gewählt werden („Exploration“)? Zunächst wurde eine neue RNN Architektur identifiziert, die bei restless four-armed bandit tasks eine mit Menschen vergleichbare Performanz zeigte. Computationale Modellierung zeigte divergierende Mechanismen zwischen Humandaten und RNNs, während Aspekte der neuronalen Verarbeitung in den RNNs Ähnlichkeiten zu Befunden aus Tierstudien aufwiesen. In weiteren Untersuchungen zeigte sich, dass die computationalen Mechanismen in RNNs sich denen in Humandaten zunehmend angleichen, wenn 1) die Netze eine ausreichende Verarbeitungskapazität aufweisen und 2) ausreichend herausfordernde Testumgebungen (hohe Volatiliät) genutzt werden. In der zweiten Förderperiode des Projektes sollen Mechanismen der Volatilitätsanpassung sowie Anpassung an komplexe Umweltregularitäten rekurrenter Netze untersucht werden, sowie neue exploration threshold Modelle entwickelt werden, die Explorationsverhalten in Menschen und künstlichen neuronalen Netzen besser abbilden könnten als klassische Reinforcement Learning Modelle. Darüber hinaus sollen die unterschiedlichen Vorhersagen dieser verschiedenen Modelle hinsichtlich der Verarbeitungsmechanismen in RNNs verglichen werden und individuelle Unterschiede in Explorationsstrategien im Menschen mittels dieser Modelle untersucht werden, um zu einem verbesserten Verständnis von Variabilität im menschlichen Explorationsverhalten zu kommen.

• DFG-Verfahren: Sachbeihilfen