Skalierbare Algorithmen für 3D Videoobjekte unter Berücksichtigung subjektiver Qualitätsfaktoren
Zusammenfassung der Projektergebnisse
Im Projekt wurden Algorithmen der Stereoanalyse und Bildsynthese im Kontext des Anwendungsfalls "private Videokommunikation“ erforscht. Ziel war es, durch die Erzeugung einer virtuellen Ansicht der Kommunikationsteilnehmer die Lösung des Problems des "Nicht angesehen werdens“ zu beseitigen und somit künstlich Blickkontakt herzustellen. Für die Evaluierung wurden weiterentwickelte subjektive Methoden angewendet. Stand im Projektantrag noch die Skalierbarkeit der Algorithmen im Vordergrund, so wurde schnell offensichtlich, dass im Anwendungsfall der Heimvideokommunikation zunächst die erzeugbare Bildqualität der Ergebnisse Vorrang haben muss. Einfache Webkameras mit geringer Bildqualität stellten eine hohe Herausforderung dar. Robuste lokale und globale Algorithmen wurden für die Stereoanalyse weiterentwickelt. Dabei stand die Verbesserung der Disparitätskarten durch Nachbearbeitung wie Inpainting und bewegungskompensierte zeitliche Glättung im Vordergrund. Für die Synthese der Ansicht wurden Maßnahmen zur Artefaktvermeidung untersucht. Methoden zum Füllen kleinerer Löcher, das Beseitigen von fehlplatzierten Punkten, die Anwendung von Anti-Aliasing, sowie das Füllen von fehlenden Bildbereichen mittels eines neuen konturbasierten Ansatzes sind die wichtigsten Ergebnisse der durchgeführten Arbeiten. Geringe Komplexität und die Parallelisierbarkeit der Algorithmen waren dabei stets nicht-funktionale Anforderungen an die Algorithmen. Die Entwicklungen geschahen unter der Berücksichtigung von subjektiven Qualitätsfaktoren welche durch subjektive Qualitätsbeurteilungen detektiert werden konnten. Eine Beurteilung der Qualität anhand objektiver Maße wurde unter der Prämisse, subjektive Qualitätsfaktoren zu berücksichtigen, nicht als sinnvoll erachtet. Auch gab es zur technischen Realisierbarkeit objektiver Maße zu viele ungeklä rte Sachverhalte, die im Rahmen des Projekts nicht hätten gelöst werden können. Um im Rahmen des Algorithmenerstellungsprozesses von der subjektiven Qualitätsburteilung profitieren zu können, wurde dafür ein Modell uber die Qualitätstaxonomie entwickelt. Dies dient als Überblick, Orientierung, und Zuordnungshilfe um Zusammenhänge der komplexen Erstellungsschritte mit der nicht minder komplexen subjektiven Qualitätswahrnehmung besser identifizieren zu können. Nicht zuletzt soll davon die (Weiter-)entwicklung von objektiven Qualitätsmaßen zur Beurteilung von 3D-Videoobjekten profitieren. Im Rahmen zweier umfangreicher subjektiver Studien wurde die erreichbare Bildqualität der Algorithmen evaluiert. Neben klassischen Methoden der subjektiven Beurteilung wie qualitative Befragungen und standardisiertem (ITU-T P.910) Absolute Category Rating (ACR) nach kam dabei auch erstmals die neue Methode des Open Profilings of Quality (OPQ) zum Einsatz. Die subjektiven Studien zeigen klar, das das Ziel der Wiederherstellung des Blickkontaktes durch eine virtuelle Ansicht erreicht wurde. Obwohl durch die neu entwickelten Methoden die Qualität der Ansicht verbessert werden konnte, so ist diese noch immer nicht als akzeptabel zu bezeichnen. Eine direkte Verwertung der Forschungsergebnisse in einer (kommerziellen) Anwendung ist daher noch nicht sinnvoll. Gründe dafür sind einerseits die sich aus dem Anwendungsfall ergebenen hohen Anforderungen durch die einfache Hardware. Auch sind die visuellen Artefakte, die durch die Synthese entstehen, bisher wenig bekannt und erzeugen somit einen stärkeren negativen Eindruck als gängige Fehlertypen wie Blockartefakte oder Rauschen. Dennoch sind bestimmte Algorithmenbestandteile ein wertvoller Beitrag zum Stand der Technik. Der Stand der Technik in dem Bereich zeigt bereits Ergebnisse mit höherer Qualität, jedoch meist auch unter dem Einsatz aufwändigerer Hardware oder komplexerer Algorithmen. Ein direkter Vergleich war mangels objektiver Maße sowie wegen zu unterschiedlicher Voraussetzung an Aufnahme und Repräsentationsform nicht möglich. Es bedarf noch weiterer Forschung auf dem Gebiet. Bessere Kameras sowie leistungsfähigere Rechner könnten in Zukunft eine bessere Qualität der Synthese unterstützen. Aufgrund der Vielzahl von Algorithmenvarianten ist ein objektives Maß unbedingt notwendig, um eine automatisierte Evaluation zu ermöglichen. Die Ergebnisse der subjektiven Studien und des OPQ dieses Projektes geben bereits wertvolle Hinweise, wie ein solchen Maß entwickelte werden kann.
Projektbezogene Publikationen (Auswahl)
- Development and Analysis of a Small- and a Large Scale Multi-Camera System. In: Proceedings of the International Conference on 3D Systems and Applications, Tokyo (Japan), 2010
C., Weigel, D., Berghaus, U., Kühhirt
- Flexible openCL accelerated disparity estimation for video communication applications. In: Proc. 3DTV-Conference, Antalya, Turkey, 2011
Weigel, C., Treutner, N.
- Subjective Quality Assessment of Free Viewpoint Video Objects. In: Adjunct Proceedings of EuroITV 2011, June 29th - July 1st 2011, Lisbon, Portugal, Doctoral Consortium (Best PhD Award), 2011, p. 47
Kepplinger, S.
- Towards a model to interlink Quality of Experience with Algorithm Development. In: Proceedings of the International Conference on Consumer Electronics in Berlin, 06.09.2011 - 08.09.2011, ICCE-Berlin, 2011
Kepplinger, S., Weigel, C.
- Defining the modern viewing environment: Do you know your living room? In: Adjunct Proceedings of EuroITV 2012, July 4th - July 6th 2012, Berlin, Germany, 2012
S. Kepplinger, F. Hofmeyer, D. Tobian
- Establishing Eye Contact for Home Video Communication using Stereo Analysis and Free Viewpoint Synthesis. In: Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 8290, 829003, San Francisco (USA), 2012
C. Weigel, N. Treutner
(Siehe online unter https://doi.org/10.1117/12.906594) - Linking quality assessment of free-viewpoint video objects up with algorithm development. In: Proceedings of the 2012 IS&T/SPIE Conference on Electronic Imaging, Number 8293-29. IEEE Explore, January 2012
S., Kepplinger
(Siehe online unter https://doi.org/10.1117/12.906582) - Neue Ansätze zur Qualitätsevaluation von Stereoa-3DTV-Systemen mittels Open Profiling of Quality. 25. Fachtagung der FKTG, Hochschulforum, 21. bis 24. Mai 2012, Wiesbaden, D, sowie Beitrag in der FKTG-Zeitschrift, Ausgabe 10/2012
S. Kepplinger, F. Hofmeyer, N. Hottong
- Profiling User Perception of Free Viewpoint Video Objects in Video Communication. In: Adjunct Proceedings of EuroITV 2012, July 4th - July 6th 2012, Berlin, Germany, Workshop: QoEMCS, 2012
S. Kepplinger
