Konturbasierte multidirektionale Prädiktion für die Intra-Codierung

• Antragsteller: Professor Dr.-Ing. Jörn Ostermann
• Fachliche Zuordnung: Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik
• Förderung: Förderung von 2018 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 397975900

Die Intra-Codierung ist ein essentieller Teil aller moderner Bild- und Videocodierungsverfahren und - anwendungen: Sie wird für den Start der Übertragung, für den wahlfreien Zugriff auf laufende Übertragungen, als Fehlerschutz, in Video-on-Demand-Anwendungen für die Umschaltung der Datenrate bei variablen Datenkanälen sowie für die Codierung von neu erscheinenden Inhalten benötigt. Anders als bei der Inter-Codierung werden bei der Intra-Codierung keine Informationen aus zuvor codierten Bildern zur Redundanzreduktion genutzt. Deshalb werden bei der Intra-Codierung deutlich höhere Datenraten (10-100 mal höher) als bei der Inter-Codierung benötigt, um die gleiche Qualität zu erzielen. Dieses ist die Motivation zur Erforschung von örtlichen Prädiktionsverfahren für eine effiziente Intra-Codierung.Bekannte Prädiktionsverfahren für die Intra-Codierung funktionieren nicht hinreichend gut genug für konturreiche Signale. Dieses gilt insbesondere für Signale mit mehreren oder nichtlinearen Konturen. Deshalb wurden Prädiktionsverfahren entwickelt, welche potentiell für die Prädiktion von solchen konturreichen Signalen geeignet sind. Aus der Literatur und aus eigenen Vorarbeiten ist bekannt, dass getrennte Verfahren für die Konturextrapolation und die Abtastwertprädiktion sinnvoll sind. Keines der bekannten Verfahren ermöglicht eine allgemeingültige Modellierung und Extrapolation von Konturen mit unterschiedlichen Charakteristiken (zum Beispiel linear, nichtlinear oder unvorhersagbar die Richtung ändernd). Eine allgemeingültige Modellierung ist jedoch wünschenswert, da ansonsten keine gute Prädiktion von Signalen mit solchen schwierig zu modellierenden Konturen möglich ist und als Konsequenz hohe Datenraten für die Codierung des Prädiktionsfehlers notwendig sind. Die Abtastwertprädiktion bekannter Verfahren ist entweder zu ungenau oder zu rechenaufwändig und in einigen Fällen sogar ungeeignet als Prädiktionsgrundlage für nachfolgend codierte Signale.Das Ziel dieses Vorhabens ist eine effizientere Intra-Codierung für die Bild- und Videocodierung durch die Kombination von konventionellen Videocodierungsverfahren mit Konturextrapolationsverfahren und maschinellen Lernansätzen für die Abtastwertprädiktion. Hierfür wird der Verlauf von Konturen in bereits codierten und als Referenz zur Verfügung stehenden Blöcken als gedächtnisbehaftete Quelle betrachtet und mit einem Gauß-Prozess modelliert. Diese Modellierung ist allgemeingültig für Konturverläufe mit unterschiedlichen Charakteristiken. Mittels des Gauß-Prozesses erfolgt eine Extrapolation der Konturen in den zu codierenden Bildbereich. Unter Ausnutzung dieser extrapolierten Konturen und der bekannten Abtastwerte in den als Referenz zur Verfügung stehenden Blöcken werden neuronale Faltungsnetzwerke eingesetzt, um die Abtastwerte des zu codierenden Blockes zu prädizieren. Durch die Integration in einen Bild- und in einen Videocodec soll die Codierungseffizienz dieser Codecs gesteigert werden.

• DFG-Verfahren: Sachbeihilfen