Detailseite
Projekt
JND-basierte perzeptuelle Videoqualitätsanalyse und -modellierung
Antragsteller
Dr. Mohsen Jenadeleh
Fachliche Zuordnung
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung
Förderung seit 2022
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 496858717
Objektive Videoqualitätsmetriken zur Schätzung der perzentuellen Qualität werden benötigt, um Videokodierungs- und Streaming-Anwendungen zu optimieren. Um eine feinkörnige Qualitätsbewertung zu ermöglichen, wurde die Just-Noticeable-Difference (JND)-Methode vorgeschlagen. In der Psychophysik bezieht sich die JND auf die kleinste wahrnehmbare Differenz eines gegebenen sensorischen Reizes zu einer Referenz.In diesem Projekt werden große JND-basierte Videoqualitätsdatensätze erstellt, die mit den neuesten Videokodierungsstandards wie AV1 und H.266/VVC als auch dem älteren AVC/H.264-Codec kodiert sind, und Modelle für die objektive Vorhersage der JND entwickeln. Wir werden auch JND-basierte Bildqualitätsdatensätze erstellen, bei denen die Bilder mit denselben Codecs im Intra-Frame-Modus kodiert sind.Zusätzlich zur Durchführung von traditionellen Laborexperimenten über die subjektive Wahrnehmung zur Schätzung der JND werden wir eine skalierbare, schnellere und kostengünstigere Crowdsourcing-Alternative bewerten. Die Ziele dieses Projekts lauten wie folgt: (1) Erstellung eines JND-basierten Videoqualitätsdatensatzes in Laborumgebungen mit Auflösungen von 3840x2160, 1920x1080 Pixeln und beschnittenen Versionen mit einer Auflösung von 640x480 Pixeln unter Verwendung der Videocodecs H.264/AVC, AV1 und H.266/VVC. Erstellung eines JND-basierten Bildqualitätsdatensatzes aus komprimierten Bildern mit dem Intra-Frame-Kodierungsmodus der Videocodecs. (2) Entwicklung von Techniken zur Verstärkung von Verzerrungen, z. B. Flimmern zwischen den Referenz- und den verzerrten Stimuli, um die Wahrnehmungssensitivität bei der JND-Bewertung zu erhöhen. Schätzung der psychometrische Funktion, die den Daten aus den Reaktionen der Probanden auf die verzerrten Stimuli zugrunde liegt. Bestimmung des Satisfied User Ratio (SUR), d.h., des Anteils der Probanden (z. B. 75%), die bei einem bestimmten Verzerrungsindex (z. B. Quantisierungsparameter, Peak Signal-to-Noise Ratio, Structural Similarity Index oder Bitrate) keine Verzerrung im komprimierten Video wahrnehmen können.(3) Methoden der adaptive Bestimmung psychometrischer Stichproben, um einen genaueren und zuverlässigeren JND-Schwellenwert zu ermitteln. (4) Entwicklung von Methoden für eine verlässliche subjektive Qualitätsbewertung von visuellen Medien in großem Maßstab durch Crowdsourcing. (5) Erstellung großer JND-basierte Bild- und Videoqualitätsdatensätze durch Crowdsourcing. (6) Algorithmische JND- und SUR-Schätzverfahren, insbesondere auf der Grundlage von Deep-Learning-Ansätzen. (7) Beiträge zur Standardisierung von JND-basierter subjektiver Videoqualitätsbewertung durch Crowdsourcing. Die Ergebnisse dieses Projekts werden die Voraussetzungen dafür schaffen, dass bessere Deep-Learning-Modelle für die JND-basierte Bewertung der Bild- und Videoqualität entwickelt und bewertet werden können.
DFG-Verfahren
Sachbeihilfen
Internationaler Bezug
China, Großbritannien, Norwegen, USA
