Phasenübergänge in mehrschichtigen neuronalen Netzwerken, statistische Physik und praktische Lernverfahren (Backpropagation)

• Antragsteller: Professor Dr. Michael Biehl
• Fachliche Zuordnung: Statistische Physik, Nichtlineare Dynamik, Komplexe Systeme, Weiche und fluide Materie, Biologische Physik
• Förderung: Förderung von 1999 bis 2003
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 5179216

Mit Methoden der statistischen Physik soll das Training mehrschichtiger neuronaler Netzwerke mit differenzierbaren Aktivierungsfunktionen untersucht werden. Der Schwerpunkt soll auf Phasenübergängen in solchen Netzwerken liegen, die auftreten, wenn das Training auf einem festen Satz von Beispieldaten beruht.Um typische Ergebnisse für entsprechende Modellsituation zu erhalten, müssen Methoden der statistischen Physik ungeordneter Systeme angewandt und ggf. weiterentwickelt werden. Neben diesen analytischen Rechnungen sollen im Rahmen des Vorhabens auch numerische Simulationen durchgeführt werden. Insbesondere soll geklärt werden, inwieweit die Ergebnisse der statistischen Physik für praktische Lernverfahren, wie z.B. den bekannten Backpropagations-Algorithmus, relevant sind.

• DFG-Verfahren: Sachbeihilfen
• Beteiligte Personen: Professor Dr. Wolfgang Kinzel; Privatdozent Dr. Georg Reents