Komprimierte Datenstrukturen für Echtzeitrendering

• Antragsteller: Professor Dr.-Ing. Dieter W. Fellner, seit 5/2022
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung von 2018 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 407714161

Traditionell werden zur Bilderzeugung in Echtzeit Rasterisierungsalgorithmen verwendet. Bei diesen Algorithmen wird jedes Primitiv, im Allgemeinen jedes Dreieck, separat und für sich allein genommen in eine Menge von Fragmenten zerlegt. Der große Vorteil dabei ist, dass der Berechnungsaufwand nur linear mit der Anzahl der Dreiecke bzw. der Anzahl der Fragmente steigt, jedoch sind Interaktionen zwischen den Primitiven, wie zum Beispiel globale Beleuchtungseffekte, nicht möglich und müssen approximiert werden. Physikalisch korrekte Path Tracing Algorithmen bzw. Path Tracing Hardware ist aktuell jedoch weit entfernt davon Bilder mit diesen Effekten in Echtzeit zu erzeugen.Der Grund dafür liegt in dem enormen Berechnungsaufwand, der nötigt ist, um die komplizierten Flächenintegrale der Rendering Equation numerisch zu berechnen. Zwar gibt es Ansätze die Konvergenz der numerischen Verfahren, auch an Hand von benachbarten Bild- oder Samplepunkten, zu beschleunigen oder das Integral nachträglich zu approximieren, allerdings wird dabei oft die menschliche Wahrnehmung außer Acht gelassen. So können aktuell können Szenen in der Größenordnung von bis zu einer Millionen Dreiecken und einer Handvoll Punkt-Lichtquellen mit unter 10 Lichtpfaden pro Pixel in Echtzeit berechnet werden. Selbst mit anschließender Filterung des erzeugten Bildes, ist das Ergebnis jedoch weit entfernt von einem perzeptuell akkuratem Bild. Ziel des beantragten Forschungsvorhabens ist, perzeptuell akkurates Path Tracing echtzeitfähig zu machen.Dafür benötigt man eine perzeptuelle Qualitätsmetrik, die in Echtzeit evaluiert werden kann und den Bildentstehungsprozess berücksichtigt. Sie bildet die Grundlage für einen Post-Sample Rekonstruktionsalgorithmus, der in Echtzeit Bilder ohne wahrnehmbare Artefakte erzeugen kann. Außerdem wird einen Output sensitiver Path Tracing Algorithmus benötigt, bei dem die Rechenzeit nur von der wahrnehmbaren Szenenkomplexität abhängt, um Bilder von Szenen mit vielen räumlich ausgedehnten Lichtquellen und Millionen von Dreiecken in Echtzeit zu erzeugen. Dies erfordert auch dynamische, komprimierte Beschleunigungsstrukturen, die in Echtzeit konstruiert werden können und optimale Performanz liefern, um später nicht nur einzelne Bilder sondern ganze Videosequenzen zu erzeugen.Auf der Hardwareseite müssen eine programmierbare Path Tracing Hardware und entsprechende Scheduling Algorithmen entwickelt werden. Zur Maximierung der zur Verfügung stehenden Speicherbandbreiten sollen Hardware-basierte Kompressionsalgorithmen für Dreiecksnetze und Texturen sowohl für lesenden, als auch schreibenden Zugriff erforscht werden.Insgesamt wird also sowohl eine Reduktion der Komplexität der Berechnungen und Erhöhung der Rechenleistung um mehrere Größenordnungen angestrebt, wodurch Path Tracing in Echtzeit, selbst bei einer Steigerung der Szenenkomplexität um eine oder mehrere Größenordnungen, möglich sein wird.

• DFG-Verfahren: Sachbeihilfen
• Ehemalige Antragsteller: Professor Dr.-Ing. Michael Goesele, bis 2/2019; Dr. Stefan Guthe, bis 5/2022