Neuartige Bildaufnahme mit beliebig geformten Pixeln und Rekonstruktion mittels neuronaler Netze

• Antragsteller: Professor Dr.-Ing. André Kaup
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 516695992

Ziel dieses Projekts ist die systematische Konzeption neuartiger Bildsensoren mit nicht regelmäßig geformten Pixeln und der Entwurf zugehöriger Bildrekonstruktionsverfahren auf der Basis von neuronalen Netzwerken. Dabei soll die Bildqualität im Vergleich zu regelmäßig angeordneten, quadratischen Pixeln in Kombination mit State of the Art Algorithmen zur Einzelbild-Auflösungserhöhung deutlich verbessert werden bei gleicher Anzahl von Abtastwerten. Eine nicht regelmäßige Abtastung hat Vorteile gegenüber einer regelmäßigen Abtastung, da sie zu einer genaueren Signalrekonstruktion führen kann. Eine Anwendung in der Bildverarbeitung ist ein Sensorkonzept, das als 1/4 Sampling bezeichnet wird. Beim 1/4 Sampling wird jeder quadratische Pixel eines Bildsensors so abgedeckt, dass nur ein zufällig ausgewählter Quadrant jedes Pixels transparent bleibt. Da der Füllfaktor auf diese Weise um den Faktor vier verringert wird und 75% des einfallenden Lichts bei einer solchen Implementierung verloren gehen, wurde nach Lösungen gesucht, um die Nichtregelmäßigkeit beizubehalten und gleichzeitig den Füllfaktor zu erhöhen. Ein vielversprechender Weg ist die Verwendung nicht regelmäßig geformter Pixel, die den gesamten Sensorbereich bei 100% Füllfaktor abdecken. Es stehen mehrere Sensorbausteine zur Verfügung, die für diese Aufgabe vielversprechend sind. Im Gegensatz zu einem normalen Sensor mit quadratischen Pixeln müssen die gemessenen Daten verarbeitet werden, um das Bild in einem regelmäßigen Raster zu rekonstruieren. Hierzu sind modellbasierte Ansätze bekannt, welche für ähnliche Aufgaben geeignet sind. In diesem Projekt ist geplant, diesen auf die Verwendung neuronaler Netze auszudehnen, da diese in verwandten Forschungsbereichen sehr gute Ergebnisse gezeigt haben. Die Verwendung neuronaler Netze für die nicht regelmäßige Abtastung ist bisher kaum untersucht und vielversprechend. Insgesamt bieten neue Sensorlayouts in Kombination mit neuen Rekonstruktionsmethoden auf der Basis von neuronalen Netzwerken ein großes Potenzial für neuartige Kamerasensoren mit höherer Auflösung.

• DFG-Verfahren: Sachbeihilfen