Lernbasierte Wavelet-Videocodierung mittels tiefem adaptivem Lifting

• Antragsteller: Professor Dr.-Ing. André Kaup
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 461649014

Das Ziel dieses Projekts ist es, lernbasierte Wavelet-Videocoder als erklärbare Alternative zu neuronalen Videocodern zu untersuchen, die nichtlineare Transformationen mit einer undefinierten Struktur nutzen. Lernbasierte Wavelet-Transformationen haben Verarbeitungsschritte mit einer bekannten und nachvollziehbaren Struktur im Gegensatz zur Verwendung neuronaler Netze als "Black Box". In einem solchen Wavelet-Videocoder werden trainierbare Wavelet-Transformationen in der zeitlichen, horizontalen und vertikalen Dimension verwendet. Aufgrund der inhärenten Skalierbarkeit von Wavelet-Transformationen bietet der untersuchte Videocoder sowohl örtliche als auch zeitliche Skalierbarkeit. Die Wavelet-Transformationen werden mit Hilfe der Liftingstruktur implementiert, die es ermöglicht beliebige nichtlineare Operationen zu nutzen, ohne die Rekonstruktionseigenschaften der Transformation zu beeinträchtigen. Daher unterstützt ein lernbasierter Wavelet-Coder eine verlustfreie Rekonstruktion im Gegensatz zu allgemeinen lernbasierten Videocodern. Angesichts der Vorteile lernbasierter Wavelet-Videocoder werden in diesem Projekt drei neue Verfahren basierend auf Wavelets untersucht. Auf der Grundlage des Wavelet Frameworks werden "Open Loop" und "Closed Loop" Codierungsstrukturen in einer lernbasierten Umgebung analysiert. Aufgrund des jüngsten Erfolgs von Conditional Coding bei lernbasierten Videokompressionsverfahren wird ein neuer Conditional Wavelet-Coder untersucht. Darüber hinaus wird für die Multiview-Videocodierung ein skalierbarer Coder entwickelt, der eine Wavelet-Transformation entlang einer zusätzlichen vierten Dimension - der View-Dimension - anwendet. Die Entwicklung dieser neuen Verfahren wird durch eine theoretische Untersuchung der Eigenschaften der lernbasierten Wavelet-Transformationen, die in den verschiedenen Verfahren eingesetzt werden, unterstützt. Durch die zusätzliche Berücksichtigung praktischer Aspekte zur Entwicklung eines leistungsfähigeren Wavelet-Coders wird das Projekt die folgende zentrale Frage beantworten: Wie gut ist das Raten-Verzerrungsverhalten, das mit einem lernbasierten Wavelet-Videocoder mit einer interpretierbaren Struktur erreicht werden kann und welche Vorteile hat dieses Verfahren gegenüber anderen lernbasierten Codecs?

• DFG-Verfahren: Sachbeihilfen