Extrapolation mehrdimensionaler diskreter Signale und deren Anwendung in der Bild- und Videokommunikation
Final Report Abstract
Im Rahmen des Projekts wurde ein sehr wirkungsvoller und vielseitiger Extrapolationsalgorithmus entwickelt. Die Extrapolation diskreter Daten spielt eine wichtige Rolle in vielen Signalverarbeitungsaufgaben der modernen Bild- und Videokommunikation. Sie zielt dabei darauf ab, ein Signal, das nicht an allen Positionen bekannt ist, aus Bereichen in denen Kenntnis über das Signal besteht in die unbekannten Bereiche fortzusetzen. Um dies zu erreichen, erzeugt das entwickelte, als selektive Extrapolation bezeichnete Verfahren ein Modell des Signals, das im gesamten betrachteten Bereich definiert ist Dazu wird das Modell sukzessive aus einer Überlagerung von orthogonalen Basisfunktionen aufgebaut. Vor Beginn der Modellbildung muss eine Menge von orthogonalen Basisfunktionen gewählt werden. Bei den Untersuchungen hat sich gezeigt, dass die Funktionen der Diskreten Fourier-Transformation eine sehr gut geeignete Menge von Basisfunktionen darstellen. Die Modellbildung erfolgt dann in der Gestalt, dass in jedem Iterationsschritt das bekannte Signal auf alle Basisfunktionen projiziert wird. Ausgehend von den Projektionen wird dann die Basisfunktion zur Ergänzung des Modells ausgewählt, die die Abnahme der Fehlerenergie zwischen dem Modell und dem bekannten Signal maximiert. Diese Schritte werden so lange wiederholt, bis eine vorher festgelegte Anzahl an Iterationen erreicht wird. Nachdem die Basisfunktionen des Modells sowohl die bekannten, als auch die nicht bekannten Bereiche abdecken, erhält man mit der Erzeugung des Modells automatisch eine Fortsetzung des Signals in die unbekannten Bereiche. Eine große Stärke des Verfahrens liegt in seiner großen Flexibilität und in der Möglichkeit, es sehr einfach an verschiedene Problemstellungen anzupassen. Eine Hauptanwendung der selektiven Extrapolation liegt in der Verschleierung von Fehlern, die bei einer gestörten Übertragung von Bild- und Videodaten auftreten können. Diese Fehler äußern sich dadurch, dass einzelne blockförmige Bereiche eines Bildes nur fehlerhaft oder überhaupt nicht angezeigt werden können. Bei der Verschleierung wird nun versucht, das Signal von benachbarten korrekt empfangenen Bereichen in diese gestörten Bereiche fortzusetzen. Mit Hilfe der selektiven Extrapolation ist es nun möglich, beliebige Bildinhalte, wie glatte Flächen, Kanten, oder rauschartige Texturen sehr gut zu rekonstruieren, so dass nahezu keine Artefakte mehr im Bild sichtbar sind. Neben der Verschleierung kann die selektive Extrapolation auch zum Deinterlacing von im Zeilensprungverfahren aufgenommenen Videodaten verwendet werden und kann außerdem noch bei der Prädiktion in der Videocodierung Anwendung finden. Während des Förderzeitraums entstand eine umfangreiche Anzahl an Veröffentlichungen, die in internationalen Zeitschriften und bei internationalen Konferenzen Anerkennung fanden. Darüber hinaus hat ein Teilprojekt zu einer Patentanmeldung beim Deutschen Patentamt geführt Dies zeigt, dass dem Themengebiet und dem entwickelten Verfahren zur Signalextrapolation eine große Bedeutung beigemessen wird. Außerdem konnte durch die erfolgreiche Anwendung des Verfahrens auf viele verschiedene Probleme im Bereich der Bild- und Videokommunikation seine Leistungsfähigkeit und sein Potential für weitere Entwicklungen gezeigt werden.
Publications
- Automatic TV Logo Removal Using Statistical Based Logo Detection and Frequency Selective Inpainting, Proc. European Signal Processing Conference (EUSIPCO), Antalya, Türkei, 4.-8. Sep. 2005
K. Meisinger, T. Tröger, M. Zeller, A. Kaup,
- Automatische TV-Logo-Entfernung durch statistische modellbasierte Detektion und frequenzselektive Kompensation, Elektronische Medien: 11. Dortmunder Fernsehseminar, ITG-Fachbericht 188, S. 211-213, Dortmund, Deutschland. 26.-28. Sep. 2005
K. Meisinger, T. Tröger, M. Zeller, A. Kaup
- Frequency Selective Signal Extrapolation with Applications to Error Concealment in Image Communication, International Journal of Electronics and Communications (AEÜ), Num. 59, S. 147-156, Elsevier GmbH, 2005
A. Kaup, K. Meisinger, Til Aach
- 2D Frequency Selective Extrapolation for Spatial Error Concealment in H.264/AVC Video Coding, Proc. IEEE International Conference on Image Processing (ICIP), S. 2233-2236, Atlanta, USA, 8.-11. Okt. 2006
K. Meisinger, A. Kaup
- Spatio-Temporal Concealment in H.264/AVC Video Coding by 3-D Selective Extrapolation, Proc. IEEE International Workshop on Multimedia Signal Processing (MMSP), S. 291-295, Victoria, Kanada, 3.-6. Okt. 2006
K. Meisinger, S. Martin, A. Kaup
- Spatio-Temporal Selective Extrapolation for 3-D Signals Applied to Concealment in Video Communications, Proc. European Signal Processing Conference (EUSIPCO), Florenz, Italien, 4.-8. Sep. 2006
K. Meisinger, S. Martin, A. Kaup
- Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation, Proc. Picture Coding Symposium (PCS), Lissabon, Portugal, 7.-9. Nov 2007
J. Seiler, K. Meisinger, A. Kaup
- Spatio-Temporal Defect Pixel Interpolation Using 3-D Frequency Selective Extrapolation, Proc. IEEE International Conference on Image Processing (ICIP), S. 149-152, San Antonio. USA, 16.-19. Sep. 2007
K. Meisinger, T. Aach, A. Kaup
- Spatiotemporal Selective Extrapolation for 3-D Signals and Its Applications in Video Communications, IEEE Trans, on Image Processing, Band 16, Num. 9, S. 2348-2360, Sep. 2007
K. Meisinger, A. Kaup
- 4-D Frequency Selective Extrapolation for Error Concealment in Multi-View Video, Proc. IEEE International Workshop on Multimedia Signal Processing (MMSP 2008), S. 267-272, Cairns, Australien, 8.-10. Okt. 2008
U. Fecker, J. Seiler, A. Kaup
- Adaptive Joint Spatio-Temporal Error Concealment for Video Communication, Proc. IEEE International Workshop on Multimedia Signal Processing (MMSP 2008), S. 229-234, Cairns, Australien, 8.-10. Okt. 2008
J. Seiler, A. Kaup
- Fast Orthogonality Deficiency Compensation fbr Improved Frequency Selective Image Extrapolation, Proc. International Conference on Acoustics, Speech, and Signal Processing (ICASSP), S. 781-784, Las Vegas, USA, 31. März-4. Apr. 2008
J. Seiler, A. Kaup
- Motion Compensated Frequency Selective Extrapolation for Error Concealment in Video Coding, Proc. European Signal Processing Conference (EUSIPCO), Lausanne, Schweiz, 25.-29. Aug. 2008
J. Seller, A. Kaup
- Selective Signal Extrapolation and its Application in Image and Video Communications, Dissertation, Technische Fakultät, Universität Erlangen-Nürnberg, Jan. 2008
K. Meisinger
- Spatio-Temporal Prediction in Video Coding by Spatially Refined Motion Compensation, Proc. 2008 IEEE International Conference on Image Processing (ICIP), S. 2788-2791, San Diego, USA, 12.-15. OkL 2008
J. Seiler, A. Kaup
