Untersuchungen zum visuellen Realismus bei der Kombination realer und virtueller Bildelemente
Zusammenfassung der Projektergebnisse
Dieses Stipendium befasste sich mit dem visuellen Realismus in computergenerierten Abbildungen. Diese Thematik beinhaltet inbesondere die Frage nach der geeigneten Art des visuellen Realismus für eine gegebene Anwendung. In der Compulergraphik-Forschung wurde in den letzten Jahren ein Spektrum visueller Stile entwickelt. Dieses reicht von klassischen photorealistischen Darstellungen bis hin zu abstrakteren Stilen, die von künstlerischen Abbildungen oder technischen und wissenschaftlichen Illustrationen inspiriert sind. Ein besonderer Aspekl des Stipendiumsprojekts war die Untersuchung von Methoden zur Kombination von computergenerierten Graphiken mit Ansichten der realen Welt. Solche kombinierten real-virtuellen Abbildungen spielen in einer Reihe Anwendungen eine zentrale Rolle. Interaktive Systeme, die in Echtzeil aufgenommene Videobilder mit künstlich generierten Bildelementen kombinieren, werden als Systeme der Erweiterten Realität (engl. Augmented Reality, AR) bezeichnet. Solche Technologien finden etwa in der Medizin, im Produktdesign oder im Automobilbau Anwendung. Neben interaktiven AR-Systemen sind Methoden zur Kombination realer und virtueller Bildelemente aber auch in der Produktion von Videos und Filmen wichtig, wo sie etwa bei der Darstellung von Spezieleffekten eine zentrale Bedeutung haben. Im Rahmen dieses Stipendiums wurde das Themengebiet des visuellen Realismus in computergenerierten Darstellungen, darunter insbesondere das Thema der Kombination realer und virtueller Bildelemente, in mehreren Teilprojekten untersucht. Die Aufgabenstellung der verbesserten visuellen Integration virtueller Elemente in reale Videoaufnahmen wurde dabei in Form von vier konkreten Problemen bearbeitet: 1. Ein Teilprojekt befasste sich mit der Verbesserung des Markertrackings zur Schätzung der Position und Orientierung der Kamera in der realen Umgebung. Dabei werden anstatt der üblichen, manuell definierten Muster automatisch erzeugte Binärmarker eingesetzt. 2. Ein weiteres Projekt beschäftigte sich mit der korrekten Behandlung von Verdeckungen in Systemen der Erweiterten Realität. Hier wurde zum ersten mal eine spezielle Hardware, eine so genannte Time-of-Flight-Kamera. verwendet, um den Abstand realer Objekte zur Kamera in Echtzeil zu messen. 3. Die Herstellung eines nahtlosen Übergangs an den Grenzen zwischen verschiedenen Bildbereichen, das so genannte Antialiasing, ist ein wichtiges Problem. In diesem Projekt wurde das Antialiasing speziell an der Grenze zwischen künstlich generierten Bildelementcn und realen Videoaufnahmen gezielt untersucht. 4. In einem weiteren Teilprojekt wurde eine neue Methode für die Anwendung illustrativer Stilisierungsmethoden auf kombinierte real-virtuelle Szenen entwickelt. Dabei wird ein Stilisierungsfilter nur auf die Teile realer und virtueller Bildelemente angewendet, für die das im Rahmen einer gegebenen Anwendung sinnvoll ist. Als Beispielszenario wurde ein prototypisches Stadtplanungssystem mit taktiler Interaktion implementiert. Weitere Teilprojekte hatten zum Ziel, den Einsatz verschiedener Arten des visuellen Realismus in rein computergenerierten Darstellungen zu untersuchen: 1. Es wurde ein Verfahren entwickelt, das komplexe medizinische Daten mit Hilfe illustrativer Visualisierungsmethoden verständlich darstellen kann. Dabei wurden verschiedene fortgeschrittene Ansätze zur illustrativen und auch zur photorealistischen Darstellung, sowie anwendungsspezifische Interaktionstechniken eingesetzt, um kombinierte Datensätze aus der anatomischen und funktionellen Magnetresonanztomographie zu visualisieren. 2. Die Erstellung volumetrischer Datensätze aus polygonalen Modellen, die so genannte Voxelisierung, war das Thema eines weiteren Teilprojekts. Es wurde ein Algorithmus entwickelt, der in Echtzeit hochauflösende Voxelisierungen generieren kann. Diese volumetrischen Datensätze dienen dann als Eingabe für einen allgemeinen Ansatz zur verständlichen Visualisierung versteckter Strukturen in komplexen polygonalen Objekten. 3. Zudem wurde im Rahmen dieses Stipendiums ein Experiment durchgeführt, das den Zusammenhang zwischen der Rechenkomplexität moderner computergraphischer Darstellungen und ihrem visuellen Realismus untersucht hal. Sowohl in der Offline-Erzeugung von Bildern, etwa in der Filmproduktion, als auch in Echtzeitsyslemen wie Computerspielen ist die Gesamtzahl der Instruktionen in so genannten Shader-Programmen der hauptsächliche Faktor für die Dauer, die zur Erzeugung eines Bildes benötigt wird. Hier wurde zum ersten Mal eine Untersuchung durchgeführt, die die menschliche visuelle Wahrnehmung beim Entwurf von Shadern mit geringer Rechenkomplexität in Betracht zieht.
Projektbezogene Publikationen (Auswahl)
- (2007). A Lightweight ID-Based Extension for Marker Tracking Systems. In Eurographics Symposium on Virtual Environments Short Paper Proceedings, pages 59-64
Flohr, D. and Fischer, J.
- (2007). Lossless Volume Data Compression Schemes. In Proc. of Simulation and Visualization, pages 169-182
Komma, P., Fischer, J., Duffner, F. and Bartz, D.
- (2007). Seamless Tangible Interaction through Selective Stylization. In ACM SIGGRAPH Sketches Program
Fischer, J., Flohr, D., and Straßer, W.
- (2007). The ARGUS System: Surgical Mixed Reality based on Image Guided Surgery, Extensions, and Applications, In International Conference on Computer Aided Surgery around the Head
Fischer, J., del Rio, A., Neff, M., Flossmann, S., Duffner, F., Hoffmann, J., Straßer, W., and Bartz, D.
- (2007). The Evaluation of Real-World and Computer-Generated Stylized Facial Expressions. ACM Transactions on Applied Perception, 4( 1)
Wallraven, C., Büllhoff, H., Cunningham, D., Fischer, J., and Bartz, D.
- (2007). Using Time-of-Flight Range Data for Occlusion Handling in Augmented Reality. In Proc. of Eurographics Symposium on Virtual Environments, pages 109-116
Fischer, J., Huhle, B., and Schilling, A.
- (2007). VolV - Eine OpenSource-Plattform für die medizinische Visualisierung. In Jahrestagung der Deutschen Gesellschaft für Computer-und Roboterassistierte Chirurgie e. V. (CURAC)
Bartz, D., Pfeifle, M., Born, S., Fischer, J., Duffner, F., Hoffmann, J., and Tatagiba, M.
- (2008). Illustrative Hybrid Visualization and Exploration of Anatomical and Functional Brain Data. Computer Graphics Forum (Special Issue on Eurographics Symposium on Visualization), 27(3);855-862
Jainek, W., Born, S., Bartz, D., Straßer, W., and Fischer, J.
- (2008). Real-Virtual Antialiasing. In ACM SIGGRAPH Conference Posters
Fischer, J.
- (2008). Rendering Methods for Augmented Reality. VDM Verlag
Fischer, J.
- (2008). Selective Stylization for Visually Uniform Tangible AR. In Proc. of Eurographics Symposium on Virtual Environments, pages 1-8
Fischer, J., Flohr, D., and Straßer, W.
- (2008). Semiautomatic Shader Code Generation for Rendering Voxelized Polygonal Models. In ACM Symposium on Interactive 3D Graphics and Games Poster Program
Fischer, J., Whittaker, D., Lefohn, A., and Gooch, B.
- (2008). Stylized Depiction in Mixed Reality. International Journal of Virtual Reality, 7(4):71-79
Fischer, J., Haller, M., and Thomas, B.
- (2008). The Role of Perception for Computer Graphics. In Eurographics Annex fo the Conference Proceedings (State-of-the-Art Reports), pages 65-86
Bartz, D., Cunningham, D., Fischer, J., and Wallraven, C.
