Kamera-Array für hyperspektrale Videobildgebung unter Verwendung von spektralübergreifender Mehransichtenfusion

• Antragsteller: Professor Dr.-Ing. André Kaup
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 491814627

Die hyperspektrale Bildgebung zeichnet ein abgetastetes Lichtspektrum für jedes Pixel einer Szene auf. Es gibt eine Reihe von Anwendungen, die die hyperspektrale Bild- und Videogebung nutzen, z. B. in der Landwirtschaft, Chemie und Medizin. Das große Problem bei der hyperspektralen Bildgebung ist, dass mit zweidimensionalen Sensoren ein dreidimensionaler Würfel aufgenommen werden muss, da für jeden kleinen Wellenlängenbereich ein Graustufenbild aufgenommen wird. Dieser dreidimensionale Bildwürfel muss also aufgefaltet werden. Dies kann durch die Nutzung der zeitlichen Dimension geschehen, allerdings geht bei diesem Ansatz die Fähigkeit zur Videoaufnahme verloren. Daher sind Snapshot-Bildgebungsverfahren, die den hyperspektralen Datenwürfel mithilfe einer einzigen Aufnahme aufzeichnen, sehr wünschenswert. Ein Ansatz, bei dem handelsübliche Hardware zum Einsatz kommt, ist die Verwendung eines kreuzspektralen Kamera-Arrays. Hier wird jeder Wellenlängenbereich von einer Kamera aufgenommen, die mit einem geeigneten Bandpassfilter vor dem Objektiv ausgestattet ist. Anschließend ist ein Registrierungs- und Rekonstruktionsprozess notwendig, um alle Kameraansichten zu einer einzigen Ansicht zu vereinen. Das Ziel dieses Projektes ist es, ein Hyperspektralkamera-Array mit 37 Kanälen aufzubauen und die Registrierungs- und Rekonstruktionspipeline vollständig durch ein Ende-zu-Ende neuronales Netz zu ersetzen. Bei der Verwendung neuronaler Netze besteht eine Herausforderung darin, genügend Daten für das Training zu erzeugen, was durch die Entwicklung eines hyperspektralen Renderers und die Generierung synthetischer hyperspektraler Sequenzen in Angriff genommen werden soll. Sobald die Hardware aufgebaut und die neuronalen Netze trainiert sind, wird eine hyperspektrale Videodatenbank erstellt und veröffentlicht, die ein Novum in der wissenschaftlichen Gemeinschaft darstellt. Eine weitere Herausforderung ergibt sich daraus, dass verschiedene Kameras mit unterschiedlichen physikalischen Eigenschaften erforderlich sind, wenn verschiedene Teile des Lichtspektrums aufgenommen werden sollen. Folglich wird das kreuzspektrale Problem durch die Anpassung der neuronalen Netze angegangen, um Kameras mit unterschiedlichen physikalischen Eigenschaften zu unterstützen. Außerdem wird die Kameraanordnung mit verschiedenen Kamera-Objektiv-Kombinationen optimiert.

• DFG-Verfahren: Sachbeihilfen