Autonomes und effizient skalierbares Deep Learning

• Antragsteller: Professor Dr. Jörg Lücke
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2014 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 260197604

Menschliche und tierische Nervennetze sind in der Lage bedeutungsvolle abstrakte Information aus sensorischen Stimuli zu extrahieren. Die neuronale Informationsverarbeitung ist hierbei in hohem Maße autonom, flexibel, interaktiv und auch für sehr große Netzwerkarchitekturen effizient. Im Gegensatz hierzu, benötigen Deep Learning Algorithmen, wie sie gegenwärtig im Bereich der maschinellen Lernens entwickelt werden, erstens eine starke Mitwirkung des entwickelnden Wissenschaftlers und sie sind zweitens von noch relativ kleiner Dimension z.B. im Vergleich zu neuronalen Netzen von Säugetieren. Unsere Ziele in diesem Projekt sind daher: (A) eine Minimierung der Abhängigkeit von Deep Learning von den entwickelndem Wissenschaftler und (B) eine effiziente Skalierung von Deep Learning hin zu großen Netzwerken.Zum erreichen des ersten Zieles (A) werden wir Deep Learning Ansätze mit einer geringen Anzahl von freien Parametern und Selbst-Regulierung untersuchen. Unsere Ansätze werde hierbei auf Poisson-Mixture-Modellen basieren - gerichtete und probabilistische grafische Modelle mit exakten Lern-Algorithmen und vollständig interpretierbaren versteckten Variablen. Poisson-Mixture-Modelle sind funktional kompetitiv auf Daten mit wenigen Etiketten (Labels) und stellen weitreichende Informationen über Interpretations-Ungenauigkeiten zur Verfügung. Diese Ungenauigkeits-Information wird für eine weitere Steigerung der Lern-Autonomie verwendet werden, indem sie zur aktiven Interaktion mit der Umgebung genutzt werden wird.Zum Erreiche des zweiten Zieles (B) werden effiziente Näherungen Methoden in Kombination mit kompakten und lokal implementierbaren Lernen in neuronalen Schaltungen Anwendung finden. Es kann theoretisch und empirisch gezeigt werden, dass solche Schaltungen optimales Lernen in Poisson-Mixture-Modellen approximiert. Die Schaltungen sind inherent parallel, lernen unüberwacht und online und sie sind direkt auf GPU Großrechnern und analogen VLSI Schaltungen implementierbar.Zusammenfassend ist es unser Ziel die zur Zeit selbständigsten und am effizientesten skalierbaren Deep Learning Systeme zu entwickeln.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1527: Autonomes Lernen