Rekurrente neuronale Datenverarbeitung, gesteuert durch adaptives Rauschen und regulatorische Rückkopplung

• Antragsteller: Dr. Patrick Krauss
• Fachliche Zuordnung: Experimentelle und theoretische Netzwerk-Neurowissenschaften
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 542747151

Ziel dieses Projekts ist es, das Potenzial rekurrenter neuronaler Netze (RNN) als hochdynamische und anpassungsfähige Systeme und die Rolle von Rückkopplungsmechanismen, einschließlich Rauschen, bei der Optimierung ihrer Rechenleistung zu untersuchen. Während sich die derzeitigen Algorithmen für maschinelles Lernen in erster Linie auf Feed-Forward-Architekturen konzentrieren, sind die neuronalen Netze der Großhirnrinde von Natur aus hochgradig rekurrent und können auch ohne externen Input aktiv sein und dynamische Systeme bilden, die in Fixpunkt-, periodische oder chaotische Attraktoren fallen. Die Rechenleistung von RNNs hängt entscheidend von der Art des dynamischen Attraktors ab, in dem sich das System befindet, wobei der "Rand des Chaos" als optimale Region im Phasenraum erscheint. Die Verbindungsstruktur eines RNN bestimmt seine funktionellen Eigenschaften, und das dynamische Regime kann durch Anpassung der Statistik der neuronalen Verbindungen angepasst werden. Doch selbst wenn für das freilaufende RNN ohne Eingaben ein angemessenes Regime gewährleistet ist, können zeitlich variierende Eingabesignale das System aus dem Rechenoptimum herausführen. Um dieses Problem zu lösen, kann eine geschlossene Rückkopplungsschleife, ähnlich der automatischen Verstärkungsregelung (AGC) in elektronischen Verstärkern, das rechnerische Optimum schnell und zuverlässig wiederherstellen, indem sie Rauschen oder adaptive Steuersignale in das RNN sendet. Neuere theoretische und experimentelle Ergebnisse deuten darauf hin, dass das Gehirn solche geschlossenen Rückkopplungskreise zur Optimierung der Informationsverarbeitung nutzen kann. So kann beispielsweise das auditorische System auf der Grundlage des Phänomens der stochastischen Resonanz (SR) ein adaptives Maß an Rauschen in die zweite Synapse der Hörbahn einspeisen, um die Übertragung sehr schwacher Signale an die höheren Verarbeitungsstufen des Gehirns zu ermöglichen. Durch Hinzufügen eines optimalen Rauschpegels zu einem freilaufenden RNN kann der rekurrente Informationsfluss innerhalb des Netzwerks verstärkt werden, ein neuartiger Effekt, der als "Recurrence Resonance" (RR) bezeichnet wird und vom Gehirn genutzt werden könnte, um die "Abklingzeit" von Informationen in einem Netzwerk zu regulieren, und der möglicherweise sogar die Grundlage des Kurzzeitgedächtnisses darstellt. Die Rechenleistung von RNNs beim Reservoir Computing, das auf zufällig verbundenen RNNs basiert, hängt von vier kritischen Bedingungen ab: Dimensionalität, Nichtlinearität, Speicher und Trennung der Muster. Rauschen ist in biologischen Systemen allgegenwärtig und ein Schlüsselfaktor bei der adaptiven Regulierung von Prozessen. Seine Rolle bei der Optimierung der Rechenleistung von RNNs ist ein wichtiges Forschungsgebiet. Das Potenzial von RNNs und Rückkopplungsmechanismen zur Verbesserung von Algorithmen des maschinellen Lernens ist ein vielversprechender Weg für die zukünftige Forschung.

• DFG-Verfahren: Sachbeihilfen