Modellierung kompositionaler oszillierender neuronaler Netzwerke
Final Report Abstract
Alle Arbeiten seit Januar 2006 und im Projektzeitraum (Juni 2006-Mai 2007) beschäftigten sich, wie geplant, mit dem Algorithmus der nicht-negativen Matrixfaktorisierung (NMF), ihrer biologischen Bedeutung, einer plausiblen Implementierung sowie mit Erweiterungen derselben. Das NMF-Problem ist zentral für die im Projekt verfolgten Fragestellungen weil es die unüberwachte Entwicklung und Optimierung der Fähigkeit charakterisiert, sensorische Eingangssignale mittels eines generativen Modells zu reproduzieren. Das generative Modell realisiert die top-down Verarbeitung im biologischen Netzwerk. Eigenschaften dieses Modells wie Nichtnegativität der synaptischen Gewichte und neuronalen Aktivitäten oder Sparseness der Koeffizienten sind biologisch motiviert. Begonnene Arbeiten wurden im Projektzeitraum fortgesetzt, so wurden teilweise ausgearbeitete Ergebnisse zur Sparse NMF vervollständigt und ergänzt und zur Publikation eingereicht. Hauptresultat des Projektes ist die Entwicklung des Modells des Nonnegative Predictive Coding (NPC), das Mängel des Predictive Coding (PC) Modells von Rao & Ballard (1999) wie Vorzeichenbehaftung der Signale und syn. Gewichte, unrealistisches WahrscheinUchkeitsmodell und Nichtlokalität des Lernens behebt bei der gleichzeitigen Wahrung der Einfachheit und anderer Vorteile des PC-Modells. Das Lernen rezeptiver Felder konnte mit dem NPC-Modell demonstriert werden. Im NPC-Modell integriert sind ein neues Verfahren zum sequentiellen Lernen und Möglichkeiten der Sparsifikation der Koeffizienten (d.h. der Aktivität der Kategorieebene). Von der biologischen Deutung der NMF inspiriert kam es im Austausch mit anderen Arbeitsgruppen (Prof. Cichocki, RIKEN BSI, Japan und Dr. Spratling, Kings College, London) zur Erarbeitung gemeinsamer Publikationen zum Lernen überlappender Muster mit einem NMF-artigen Algorithmus und zu Erweiterungen der NMF um ein linear-quadratisches generative Modell und neue schnellere algebraische und iterative Approximationsverfahren. Jüngstes Ergebnis der Forschungstätigkeit sind neue Entwürfe zur Funktion des kortikalen Schaltkreises, die wiederum Nachteile des NPC Modells, wie die Notwendigkeit der iterativen Optimierung der Repräsentationen mittels Fehlerkorrektur, aufheben und gleichzeitig seine Möglichkeiten beträchtlich erweitern. Diese konnten noch nicht ausreichend erprobt und zur Publikation aufbereitet werden.
Publications
- A. Cichocki, S.-L Amari, R. Zdunek, R. Kompass, G. Hori, and Z. He: Extended SMART Algorithms for Non-negative Matrix Factorization. In: Artificial Intelligence and Soft Computing, ICAISC 2006, Zakopane, Poland, June 25-29, 2006, Lecture Notes in Artificial Intelligence, Vol. 4029, Springer, pp. 548-562, 2006
