Compressed Data Structures for Real-Time Rendering

• Applicant: Professor Dr.-Ing. Dieter W. Fellner, since 5/2022
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Data Management, Data-Intensive Systems, Computer Science Methods in Business Informatics
• Term: from 2018 to 2022
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 407714161

• Final Report Year: 2023

Final Report Abstract

Das Projekt “Komprimierte Datenstrukturen für Echtzeitrendering” hatte zum Ziel Ray-Tracing-Techniken zu beschleunigen. Hierzu wurde das Projekt zweigeteilt. Plan des ersten Teil war es, die menschliche Wahrnehmung auszunutzen, um die Komplexität des Ray-Tracers nur noch von der wahrnehmbaren Szenenkomplexität abhängig zu machen. Eine Anwendung hierzu ist die Generierung von Sekundärstrahlen, die z.B. durch Berechnung an transparenten Objekten auftreten. Wir haben die Wahrnehmung von Transparenzeigenschaften von Objekten in einer ausführlichen Benutzerstudie erarbeitet und herausgefunden, dass Transparenz hauptsächlich dort Wahrnehmungstechnisch eine Rolle spielt, wo in urbanen Szenen Krümmungen an sonst bekannterweise gerade verlaufenden Linien auftreten. Im zweiten Teil des Projekts war es Thema Kompressionsalgorithmen auf der Hardware zu verwenden, um die Bandbreite des Speichers besser auszunutzen. Wir haben innerhalb des Vorhabens einen GPU-Ray-Tracer implementiert, den wir als Open-Source-Software der Gemeinschaft zur Verfügung gestellt haben. Darauf basierend haben wir zunächst verschiedene Optimierungstechniken grundlegend analysiert. Hierzu haben wir einen Simulator implementiert, der die gesamte GPU-Speicherhierarchie abbildet und somit für jede Allokation im Programm getrennt Speichermetriken, wie z.B. die Cache-Raten ausgeben und visualisieren kann. Wir haben für den Speicher- und Cache-Simulator Genauigkeiten bis zu 3,74 % erreicht und sind damit um einen Faktor 2.4 genauer als der vorherige Stand der Technik. Wir haben außerdem gezeigt, dass das visuelle Profiling von Ray Tracern Bahnbrechend in dem Bereich ist, was mit einen Best-Paper-Award auf der Eurographics Conference on Graphics and Visualization geehrt wurde. Der Cache Profiler kann ebenfalls außerhalb von Computergraphikbereich verwendet werden, was wir anhand einer sehr einfachen Optimierung an einem Teil der ResNet-Implementierung zeigten. Die relevanteste Erkenntnis für das Echtzeit-Rendering war dass trotz Beschleunigungsstrukturen die Geometrie des 3D-Modells den größten Anteil an den Speicherbandbreite hat. Die Ergebnisse zeigen also, dass sich hier Kompressionstechniken besonders gut eignen. In innerhalb des Projektzeitraums vorausgegangen Publikationen haben wir Kompression bereits zum Kompression von Kulturarthefakten verwendet, die wir nun in zukünftigen Arbeiten ins Echtzeit-Rendering integrieren möchten.

Publications

• „Segmentation-Based Near-Lossless Compression of Multi-View Cultural Heritage Image Data“. In: Eurographics Workshop on Graphics and Cultural Heritage (Online). Hrsg. von Michela Spagnuolo und Francisco Javier Melero. The Eurographics Association, Nov. 2020.
  Max von Buelow; Reimar Tausch; Volker Knauthe; Tristan Wirth; Stefan Guthe; Pedro Santos & Dieter W. Fellner
  
• A computer vision system for saw blade condition monitoring. Procedia CIRP, 104, 1107-1112.
  Jourdan, Nicolas; Biegel, Tobias; Knauthe, Volker; von Buelow, Max; Guthe, Stefan & Metternich, Joachim
  
• Algorithm 1015. ACM Transactions on Mathematical Software, 47(2), 1-27.
  Guthe, Stefan & Thuerck, Daniel
  
• A Structure From Motion Pipeline for Orthographic Multi-View Images. 2022 IEEE International Conference on Image Processing (ICIP), 1181-1185. IEEE.
  Neumann, Kai A.; Hoffmann, Philipp P.; Buelow, Max von; Knauthe, Volker; Wirth, Tristan; Kontermann, Christian; Kuijper, Arjan; Guthe, Stefan & Fellner, Dieter W.
  
• Depth-of-Field Segmentation for Near-lossless Image Compression and 3D Reconstruction. Journal on Computing and Cultural Heritage, 15(3), 1-16.
  von Buelow, Max; Tausch, Reimar; Schurig, Martin; Knauthe, Volker; Wirth, Tristan; Guthe, Stefan; Santos, Pedro & Fellner, Dieter W.
  
• Fine‐Grained Memory Profiling of GPGPU Kernels. Computer Graphics Forum, 41(7), 227-235.
  Buelow, Max von; Guthe, Stefan & Fellner, Dieter W.
  
• „Alignment and Reassembling of Broken Specimens for Creep Ductility Measurements“. In: Vision, Modeling & Visualization (Konstanz, Germany). Hrsg. von Jan Bender, Mario Botsch und Daniel Keim. The Eurographics Association, Sep. 2022.
  Volker Knauthe; Maurice Kraus; Max von Buelow; Tristan Wirth; Arne Rak; Laurenz Merth; Alexander Erbe; Christian Kontermann; Stefan Guthe; Arjan Kuijper & Dieter W. Fellner
  
• „Fitness of General-Purpose Monocular Depth Estimation Architectures for Transparent Structures“. In: Eurographics 2022 - Short Papers (Reims, France). Hrsg. von Nuria Pelechano und David Vanderhaeghe. The Eurographics Association, Apr. 2022.
  Tristan Wirth; Aria Jamili; Max von Buelow; Volker Knauthe & Stefan Guthe
  
• „Profiling and Visualizing GPU Memory Access and Cache Behavior of Ray Tracers“. In: Eurographics Symposium on Parallel Graphics and Visualization (Rome, Italy). Hrsg. von Roxana Bujack, Julien Tierny und Filip Sadlo. The Eurographics Association, Juni 2022.
  Max von Buelow, Kai Riemann, Stefan Guthe & Dieter W. Fellner
  
• „Reconstructing Bounding Volume Hierarchies from Memory Traces of Ray Tracers“. In: Pacific Graphics Short Papers, Posters, and Work-in-Progress Papers (Kyoto, Japan). Hrsg. von Yin Yang, Amal D. Parakkat, Bailin Deng und Seung-Tak Noh. The Eurographics Association, Okt. 2022.
  Max von Buelow; Tobias Stensbeck; Volker Knauthe; Stefan Guthe & Dieter W. Fellner
  
• Distortion-Based Transparency Detection Using Deep Learning on a Novel Synthetic Image Dataset. Lecture Notes in Computer Science, 251-267. Springer Nature Switzerland.
  Knauthe, Volker; Pöllabauer, Thomas; Faller, Katharina; Kraus, Maurice; Wirth, Tristan; Buelow, Max von; Kuijper, Arjan & Fellner, Dieter W.