Rekonstruktion unregelmäßig abgetasteter Bildsignale unter Verwendung dünn besetzter Repräsentationen
Zusammenfassung der Projektergebnisse
Im Rahmen des durch die Deutsche Forschungsgemeinschaft geförderten Projekts „Rekonstruktion unregelmäßig abgetasteter Bildsignale unter Verwendung dünn besetzter Repräsentationen“ wurden Verfahren zur Rekonstruktion unregelmäßig abgetasteter Bilddaten entwickelt. Weiterhin wurden verschiedene Sensordesigns entwickelt und Szenarien untersucht, die aufgrund der unregelmäßigen Abtastung eine erhöhte Ortsauflösung erlauben. Bei der frequenzselektiven Rekonstruktion handelt es sich um eine angepasste Form der Selektiven Extrapolation, welche für die Rekonstruktion von unregelmäßig abgetasteten Bilddaten geeignet ist. Ein Hauptaugenmerk liegt auf der Verwendung einer Frequenzgewichtungsfunktion, welche niederfrequente Basisfunktionen in der Auswahl bevorzugt. Darüber hinaus wurden Verfeinerungen für spezielle Fälle entwickelt. So ist beispielsweise eine Anpassung der Ortsgewichtungsfunktion für spezielle Geometrien von Vorteil. Im Zuge des Projekts wurden mehrere Konzepte für neuartige Bildsensoren entwickelt und die Verwendbarkeit von 1/4-Sampling-Sensoren für die Aufnahme von Videodaten untersucht. Um den Nachteil der geringeren Lichtempfindlichkeit zu relativieren, kann das neu vorgestellte 3/4-Sampling verwendet werden. Hierbei werden zufällig gedrehte, L-förmige Pixel verwendet. Neben der Lichtausbeute ist hierbei auch die Rekonstruktionsqualität erhöht. Um bei der Aufnahme von Videos auch eine Unregelmäßigkeit in zeitlicher Dimension zu ermöglichen, wurde ein geeignete Auslesestrategie entwickelt, bei der in jedem Zeitschritt ein anderer Quadrant eines niedrig auflösenden Sensorelements ausgelesen wird. Durch diese dynamische Abtastung konnte die Rekonstruktionsqualität für Videoaufnahmen stark erhöht werden. Des Weiteren wurde die Verwandtschaft zwischen unregelmäßige Abtastung und Compressed Sensing untersucht. Hierbei konnte eine Verallgemeinerung der JSDE für die im Compressed Sensing üblichen zufälligen Messungen gute Ergebnisse erzielen. Es konnte gezeigt werden, dass die Komplexität durch eine Verwendung von sich periodisch wiederholenden Messungen drastisch reduziert werden kann. Durch die erreichte Verallgemeinerung der JSDE sind zukünftig nicht nur punktförmige Messungen, sondern auch Messungen mit beliebig geformten Integrationsgebieten denkbar, was neuartige Bildsensoren denkbar macht. Dadurch hat die JSDE das Potential, Aufnahmesysteme über die klassische Bildgebung hinaus langfristig zu verbessern.
Projektbezogene Publikationen (Auswahl)
- “Reconstruction of Images Taken by a Pair of Non-Regular Sampling Sensors Using Correlation Based Matching,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2014
M. Jonscher, J. Seiler, T. Richter, M. Bätz und A. Kaup
(Siehe online unter https://doi.org/10.1109/ICIP.2014.7025582) - “Reconstruction of Videos Taken by a Non-Regular Sampling Sensor,” in: Proc. IEEE Visual Communications and Image Processing (VCIP), 2015
M. Jonscher, J. Seiler, M. Bätz, T. Richter, W. Schnurrer und A. Kaup
(Siehe online unter https://doi.org/10.1109/VCIP.2015.7457801) - “Resampling Images to a Regular Grid from a Non-Regular Subset of Pixel Positions Using Frequency Selective Reconstruction,” IEEE Trans. on Image Processing, 2015, Bd. 24, Nr. 11, S. 4540–4555
J. Seiler, M. Jonscher, M. Schöberl und A. Kaup
(Siehe online unter https://doi.org/10.1109/TIP.2015.2463084) - “Recursive Frequency Selective Reconstruction of Non-Regularly Sampled Video Data,” in: Proc. Picture Coding Symposium (PCS), 2016
M. Jonscher, K. Jaskolka, J. Seiler und A. Kaup
- “Texture-Dependent Frequency Selective Reconstruction of Non-Regularly Sampled Images,” in: Proc. Picture Coding Symposium (PCS), 2016
M. Jonscher, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/PCS.2016.7906355) - “Frequency Selective Mesh-to-Grid Resampling for Image Communication,” IEEE Trans. on Multimedia, 2017, Bd. 19, Nr. 8, S. 1689–1701
J. Koloda, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/TMM.2017.2683267) - “Design Techniques for Incremental Non- Regular Image Sampling Patterns,” in: IEEE Int. Conf. on Imaging Systems and Techniques (IST), 2018
S. Grosche, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/IST.2018.8577090) - “Iterative Optimization of Quarter Sampling Masks for Non-Regular Sampling Sensors,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2018
S. Grosche, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/ICIP.2018.8451658) - “Sparse Hartley Modeling for Fast Image Extrapolation,” in: Proc. IEEE Int. Workshop on Multimedia Signal Processing (MMSP), 2018
N. Genser, S. Grosche, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/MMSP.2018.8547100) - “Dynamic Non-Regular Sampling Sensor Using Frequency Selective Reconstruction,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 10, S. 2859–2872
M. Jonscher, J. Seiler, D. Lanz, M. Schöberl, M. Bätz und A. Kaup
(Siehe online unter https://doi.org/10.1109/TCSVT.2018.2876653) - “Increasing Imaging Resolution by Non-Regular Sampling and Joint Sparse Deconvolution and Extrapolation,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 2, S. 308–322
J. Seiler, M. Jonscher, T. Ussmueller und A. Kaup
(Siehe online unter https://doi.org/10.1109/TCSVT.2018.2796725) - “Motion-adapted Three-dimensional Frequency Selective Extrapolation,” in: Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), 2019
A. Spruck, M. Jonscher, J. Seiler und A. Kaup
(Siehe online unter https://doi.org/10.1109/ICASSP.2019.8683218)
