Inferenz computationaler Dynamiken aus neuronalen Ableitungen mittels tiefer rekurrenter neuronaler Netze
Zusammenfassung der Projektergebnisse
Das vorliegende, hauptsächlich methodische Projekt entwickelte eine neuartige Klasse von Deep-Learning-Algorithmen zum Erlernen generativer Surrogatmodelle aus Zeitreihendaten, insbesondere aus neurophysiologischen Aufzeichnungen – ein Bereich, der als dynamische Systemrekonstruktion bezeichnet wird. Solche Modelle werden auf Basis von Daten trainiert, um die dynamischen Eigenschaften eines empirisch beobachteten Systems nachzuahmen. Nach erfolgreichem Training können diese Modelle genutzt werden, um Vorhersagen zu generieren oder bestimmte formale oder computationale Eigenschaften des Systems, auf dem sie trainiert wurden, zu analysieren. Zum Zeitpunkt der ursprünglichen Konzeption dieser Forschung war dies noch ein junges Feld, in dem es keine etablierten oder gut funktionierenden Ansätze gab. Unserer Ansicht nach hat dieses Projekt das Feld maßgeblich vorangebracht, indem es zentrale Herausforderungen beim Training rekurrenter neuronaler Netze (RNNs), einer Klasse von Deep-Learning-Modellen, für Aufgaben der dynamischen Systemrekonstruktion identifiziert hat. Durch die Identifikation wichtiger mathematischer Probleme im Trainingsprozess konnten Trainingsalgorithmen und Modellarchitekturen deutlich verbessert werden. Die entwickelten Methoden wurden umfassend an verschiedenen simulierten Systemen und realen Datensätzen getestet und evaluiert, was ihre universelle Anwendbarkeit in vielen wissenschaftlichen Bereichen – über die Neurowissenschaften hinaus, etwa auch in der Medizin oder der Klimaforschung – verdeutlicht. Insbesondere in den Neurowissenschaften können sie dazu dienen, die computationalen Prozesse zu untersuchen, mit denen das Gehirn Verhaltensprobleme löst. Auch wenn wir in der Anwendung dieser neuen KI-Werkzeuge zur Analyse neuronaler Messungen nicht so weit vorangekommen sind wie ursprünglich beabsichtigt, haben wir eine Reihe anderer Analysen durchgeführt, die Einblicke in die Rolle verschiedener Hirnregionen bei den dynamischen Mechanismen des Arbeitsgedächtnisses und der Entscheidungsfindung ermöglichten. Insgesamt hat dieses Projekt ein neues Instrumentarium für die dynamische und computationale Analyse neuronaler Systeme geschaffen.
Projektbezogene Publikationen (Auswahl)
-
Identifying nonlinear dynamical systems via generative recurrent neural networks with applications to fMRI. PLOS Computational Biology, 15(8), e1007263.
Koppe, Georgia; Toutounji, Hazem; Kirsch, Peter; Lis, Stefanie & Durstewitz, Daniel
-
Deep learning for small and big data in psychiatry. Neuropsychopharmacology, 46(1), 176-190.
Koppe, Georgia; Meyer-Lindenberg, Andreas & Durstewitz, Daniel
-
Existence of n-cycles and border-collision bifurcations in piecewise-linear continuous maps with applications to recurrent neural networks. Nonlinear Dynamics, 101(2), 1037-1052.
Monfared, Z. & Durstewitz, D.
-
Transformation of ReLU-based recurrent neural networks from discrete-time to continuous-time. in Proceedings of the 37th International Conference on Machine Learning (PMLR, 2020b). 119: p. 6999-7009
Monfared, Z. & D. Durstewitz
-
Brain network dynamics during working memory are modulated by dopamine and diminished in schizophrenia. Nature Communications, 12(1).
Braun, Urs; Harneit, Anais; Pergola, Giulio; Menara, Tommaso; Schäfer, Axel; Betzel, Richard F.; Zang, Zhenxiang; Schweiger, Janina I.; Zhang, Xiaolong; Schwarz, Kristina; Chen, Junfang; Blasi, Giuseppe; Bertolino, Alessandro; Durstewitz, Daniel; Pasqualetti, Fabio; Schwarz, Emanuel; Meyer-Lindenberg, Andreas; Bassett, Danielle S. & Tost, Heike
-
Classification of amyotrophic lateral sclerosis by brain volume, connectivity, and network dynamics. Human Brain Mapping, 43(2), 681-699.
Thome, Janine; Steinbach, Robert; Grosskreutz, Julian; Durstewitz, Daniel & Koppe, Georgia
-
Identifying nonlinear dynamical systems with multiple time scales and long-range dependencies. in Proceedings of the 9th International Conference on Learning Representations (ICLR, 2021)
Schmidt, D., G. Koppe, Z. Monfared, M. Beutelspacher & D. Durstewitz
-
Psychiatric Illnesses as Disorders of Network Dynamics. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging, 6(9), 865-876.
Durstewitz, Daniel; Huys, Quentin J.M. & Koppe, Georgia
-
Conserved structures of neural activity in sensorimotor cortex of freely moving rats allow cross-subject decoding. Nature Communications, 13(1).
Melbaum, Svenja; Russo, Eleonora; Eriksson, David; Schneider, Artur; Durstewitz, Daniel; Brox, Thomas & Diester, Ilka
-
On the difficulty of learning chaotic dynamics with RNNs. in Proceedings of the 36th Annual Conference on Neural Information Processing Systems (NeurIPS, 2022). 35: p. 11297-11312
Mikhaeil, J., Z. Monfared & D. Durstewitz
-
Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series. in Proceedings of the 39th International Conference on Machine Learning (PMLR, 2022). 162: p. 11613- 11633
Kramer, D., P.L. Bommer, C. Tombolini, G. Koppe & D. Durstewitz
-
Species-conserved mechanisms of abstract rule learning promote cognitive flexibility in complex environments. openRxiv.
Bähner, Florian; Popov, Tzvetan; Boehme, Nico; Hermann, Selina; Merten, Tom; Zingone, Hélène; Koppe, Georgia; Meyer-Lindenberg, Andreas; Toutounji, Hazem & Durstewitz, Daniel
-
Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems. in Proceedings of the 39th International Conference on Machine Learning (PMLR, 2022). 162: p. 2292-2320
Brenner, M., F. Hess, J.M. Mikhaeil, L.F. Bereska, Z. Monfared, P.-C. Kuo & D. Durstewitz
-
Bifurcations and loss jumps in RNN training. in Proceedings of the 37th Annual Conference on Neural Information Processing Systems (NeurIPS, 2023). 36: p. 70511-70547
Eisenmann, L., Z. Monfared, N. Göring & D. Durstewitz
-
Distinct hippocampal-prefrontal neural assemblies coordinate memory encoding, maintenance, and recall. Current Biology, 33(7), 1220-1236.e4.
Domanski, Aleksander P.F.; Kucewicz, Michal T.; Russo, Eleonora; Tricklebank, Mark D.; Robinson, Emma S.J.; Durstewitz, Daniel & Jones, Matt W.
-
Generalized Teacher Forcing for Learning Chaotic Dynamics. in Proceedings of the 40th International Conference on Machine Learning (PMLR, 2023). 202: p. 13017-13049
Hess, F., Z. Monfared, M. Brenner & D. Durstewitz
-
Reconstructing computational system dynamics from neural data with recurrent neural networks. Nature Reviews Neuroscience, 24(11), 693-710.
Durstewitz, Daniel; Koppe, Georgia & Thurm, Max Ingo
-
Integration of rate and phase codes by hippocampal cell-assemblies supports flexible encoding of spatiotemporal context. Nature Communications, 15(1).
Russo, Eleonora; Becker, Nadine; Domanski, Aleks P. F.; Howe, Timothy; Freud, Kipp; Durstewitz, Daniel & Jones, Matthew W.
