Nichtlineare Prädiktion basierend auf Dictionary Learning im Kontext der Videocodierung
Zusammenfassung der Projektergebnisse
Aktuelle Standards zur Videocodierung wie Versatile Video Coding (VVC) oder High Efficiency Video Coding (HEVC) beruhen auf dem Konzept der hybriden Videocodierung. In diesem Projekt wurden die Methoden des Dictionary Learning (DL)/Sparse Coding (SC) sowohl in Bezug auf die hybride Videocodierung als auch höhere Codierkonzepte wie z.B. Scalable Video Coding (SVC) evaluiert. Den Verfahren liegt dabei die Annahme zugrunde, dass gelernte Dictionaries dekoderseitig bekannt sind. In Folge dessen zielen die entwickelten Methoden darauf ab, die Rate-Distortion (RD) Charakteristik aktueller Videocodierungsstandards zu verbessern. Die Beiträge des Projekts konzentrieren sich auf die Identifikation von Schnittstellen zwischen der hybriden Videocodierung oder höheren Codierkonzepten und den Methoden des DL/SC. Die Evaluation der entwickelten Verfahren wurde experimentell durch die Implementierung von DL/SC basierten Verfahren in die Referenzsoftwarepakete HM-16.9 (HEVC), SHM-12.0 (SHVC), and VTM- 9.3 (VVC) und die Messung von Bjøntegaard Delta (BD) Statistiken durchgeführt. Im Folgenden werden die Ergebnisse kurz zusammengefasst: Die Schleifenfilterung mittels DL/SC wurde in Bezug auf HEVC und VVC evaluiert. Dabei konnte das RD Verhalten von HEVC um ca. 1:3% im Mittel verbessert werden. In Bezug auf VVC sind die erzielbaren Verbesserungen kleiner und wurden zu 0:2% gemessen. Dieses Verhalten lässt sich durch die erweiterte Auswahl an Schleifenfiltern in VVC gegenüber HEVC erklären. Des Weiteren wurde das Konzept der DL basierten Auflösungserhöhung (DLSR) auf verschiedene Codierkonzepte angewandt: Zunächst ließ sich zeigen, dass sich die inter-layer Prädiktion der Scalabilty extension of HEVC (SHVC) durch DLSR verbessern lässt. Diese Verbesserung schlägt sich in einer maximalen Bitratenersparnis von 6:15% nieder. Des Weiteren konnte die instantane Bitrate, die für Reference Picture Resampling (RPR) benötigt wird, um zu einer höheren Auflösung zu schalten, durch DLSR um ca. 1% reduziert werden. Ein dritter Aspekt liegt in der Implementierung und Analyse eines Adaptive Resolution Change (ARC) Codierkonzepts auf Basis von DLSR. In diesem Kontext konnte gezeigt werden, dass sich das RD Verhalten von VVC bei niedrigen Bitraten um ca. 9:33% verbessern ließ. Ein letzter Forschungsschwerpunkt des Projekts lag in der Anwendung von DL/SC in der Intraprädiktion. Der entwickelte Ansatz, auch Sparse Coding-based Intra Prediction (SCIP) genannt, zeigte dabei Verbesserungen gegenüber VVC. So wurde in einem All Intra (AI) Szenario eine Ratenersparnis von 0:26% gemessen und im Mittel wurden 12:8% aller Pixel von SCIP prädiziert. Zusammenfassend lässt sich festhalten, dass in diesem Projekt DL/SC basierte Verfahren in Bezug auf aktuelle Standards zur Videocodierung analysiert wurden und Verbesserungspotentiale aufgezeigt werden konnten.
Projektbezogene Publikationen (Auswahl)
-
"Adaptive Resolution Change Using Uncoded Areas and Dictionary Learning-Based Super-Resolution in Versatile Video Coding”. In: ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2020, pages 2203–2207
J. Schneider, J. Sauer, and C. Rohlfing
-
“Sparse Coding-based Intra Prediction in VVC”. in: 2021 Picture Coding Symposium (PCS). Bristol, UK, June 2021
J. Schneider, D. Mehlem, M. Meyer, and C. Rohlfing
