L2S-Training mit stetig veränderbaren Sensorsystemparametern und irregulären Daten

• Antragsteller: Professor Dr. Michael Möller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 459284860

Die Hauptidee der Learning to Sense (L2S) Forschungsgruppe ist die gemeinsame Optimierung von Designparametern eines Sensorsystems zusammen mit den Parametern eines neuronalen Netzwerkes, das die Daten des Sensorsystems in spezifischen Anwendungen analysiert. Die Freiheitsgrade für das Design von Sensorsystemen liegen dabei im örtlichen sowie spektralen Layout des Sensors (inklusive der Pixelform), der Optik, der Beleuchtung, und von Rechenoperationen in der Sensorhardware. Wir sind überzeugt, dass eine gemeinsame 'end-to-end'-Optimierung von Sensorsystem und Netzwerk signifikante Vorteile in der Qualität der Voraussagen, der Effizienz bezüglich Speicher und Energieverbrauch und der benötigten Menge an aufgenommenen, annotierten Trainingsdaten hat. Dieses Teilprojekt untersucht mehrere fundamentale Aspekte des maschinellen Lernens, die für Realisierung des obigen L2S-Konzeptes notwendig sind. Erstens müssen Netzwerkarchitekturen im Fall von variablen Sensorlayouts in der Lage sein sich an die irregulären Daten, die ihre geometrische Repräsentation während des Trainings ändern, anzupassen. Zu diesem Zweck werde ich Graph-Neuronale-Netzwerke sowie funktionswertige neuronale Netzwerke verwenden. Abgesehen von der Form der Daten, muss auch eine geeignete Repräsentation der gewünschten Ausgabe gefunden werden. Zweitens sollte das physikalische Vorwissen über jeden komplexen Datenformationsprozess des Sensorsystems (z.B. im Falle von codierten Blenden oder Beleuchtungen) mit in die Netzwerkarchitektur integriert werden. Die Verwendung eines solchen Vorwissens verhindert ein extrem datenhungriges Lernen von bekannten Zusammenhängen. Schlussendlich beschäftigt sich dieses Teilprojekt mit Trainingsschemata, die auf eine verbesserte Generalisierung abzielen, indem Netzwerk- und Sensorsystemparameter mittels Bi-Level Optimierung auf getrennten Datensätzen trainiert werden. Die obigen fundamentalen Forschungsfragen werden durch Anwendungen im Bereich der Klassifikation, Lokalisierung und Rekonstruktion mit RGB-, THZ-, und Mikroskopie-Daten exemplifiziert.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5336: KI-FOR Lernen optimaler Bilddatensensorik