Verlustlose und verlustbehaftete Kompression von Screen-Content-Daten mit Hilfe von maschinellem Lernen
Zusammenfassung der Projektergebnisse
Heutzutage nimmt die Nutzung von Anwendungen wie Onlinekonferenzen, Tele-Unterricht oder Teilen von Bildschirmen zu. Im Zuge der Corona-Pandemie ab 2020 haben viele Universitäten und andere Bildungseinrichtungen begonnen, E-Learning vermehrt in ihren Unterricht zu integrieren. Für solche Anwendungen müssen Bildschirminhaltsdaten (engl. screen content (SC)), also direkt vom Computer oder Smartphone generierte Video- und Bilddaten, übertragen oder gespeichert werden. Im Gegensatz zu sensorgenerierten Daten besteht SC in der Regel aus Text, Schaltflächen, Symbolen und gerenderten Grafiken. Daher hat SC diverse Eigenschaften, die sich stark von sensorgenerierten Daten unterscheiden. Oft enthält SC nur wenige einzigartige Farben und Muster, scharfe Kontraste, feine Strukturen und Bereiche mit einheitlicher Farbe. Folglich funktionieren Bild- und Videocodecs, die für sensorgenerierte Inhalte entwickelt wurden, bei SC-Daten nur schlecht. Es wurde gezeigt, dass eine Methode, die auf idealer Entropiekodierung und der Modellierung von Wahrscheinlichkeitsverteilungen der Bildpunkte basiert, eine ausgezeichnete Kompressionsleistung bei SC-Daten mit einer geringen Anzahl von Mustern und Farben aufweist. Der Prototyp ist jedoch auf verlustfreie Kompression beschränkt und seine Effizienz nimmt ab, wenn die SC-Daten bestimmte Merkmale aufweisen. In diesem Projekt verbessern wir die Effizienz des Prototyps für SC- Daten, die natürliche Bildbereiche enthalten, indem wir eine Segmentierung einführen, die es dem Codec ermöglicht, separate Statistiken für natürliche und synthetische Bildbereiche in zusammengesetzten SC-Bildern zu lernen. Eine verbesserte Wahrscheinlichkeitsmodellierung für Vorhersagefehlerstatistiken und Farbpalettenstatistiken erhöht die Komprimierungseffizienz des Prototyps für SC-Daten weiter. Zusätzlich wird der Prototyp als neuartiges Kodierungswerkzeug in Versatile Video Coding (VVC) integriert. Wir zeigen, dass die Videokompression und die gemischte verlustbehaftete und verlustfreie Kompression unter Verwendung der Prototyp-Kompressionsmethode als Kodierungstool andere State-of-the-Art-Methoden übertreffen.
Projektbezogene Publikationen (Auswahl)
-
Optimization of Probability Distributions for Residual Coding of Screen Content. 2021 International Conference on Visual Communications and Image Processing (VCIP), 1-5. IEEE.
Och, Hannah; Strutz, Tilo & Kaup, Andre
-
Image Segmentation for Improved Lossless Screen Content Compression. ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 1-5. IEEE.
Uddehal, Shabhrish Reddy; Strutz, Tilo; Och, Hannah & Kaup, André
-
Rescaling of Symbol Counts for Adaptive rANS Coding. 2023 31st European Signal Processing Conference (EUSIPCO), 585-589. IEEE.
Strutz, Tilo
-
Enhanced Color Palette Modeling For Lossless Screen Content Compression. ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 3670-3674. IEEE.
Och, Hannah; Uddehal, Shabhrish Reddy; Strutz, Tilo & Kaup, André
-
Improved Screen Content Coding in VVC Using Soft Context Formation. ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 3685-3689. IEEE.
Och, Hannah; Uddehal, Shabhrish Reddy; Strutz, Tilo & Kaup, André
