Blickpunktabhängige Bilderzeugung aus durchgängig komprimierten Geometriedaten

• Antragsteller: Professor Dr. Dieter Schmalstieg
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 528364066

Viele Anwendungen, wie Open World-Spiele oder, wissenschaftliche Simulation, verwenden riesige Szenen, die nur mit Mühe gespeichert, übertragen und dargestellt werden können. Wenn die Szene nicht in den Speicher der GPU passt, muss die Anwendung auf Streaming und Kompression zurückgreifen, sodass die Daten rechtzeitig für die Darstellung verfügbar sind. Um den vorhandenen Speicher gut auszunutzen, sind mehrere Levels of Detail (LOD) nötig. Diese Anforderungen sind nach wie vor von großer Bedeutung in der Computergrafik-Industrie. Existierende Lösungen zum Streaming von Geometriedaten stossen an zwei Punkten an ihre Grenzen. Erstens kann der sichtbare Anteil der Szene zu groß für den Speicher sein, selbst wenn LOD verwendet wird. Bei Speichermangel den Detailgrad der Szene zu senken, ist keine gute Lösung, weil die visuelle Qualität leidet. Besser ist, die Bilderzeugung direkt aus den komprimierten Szenendaten zu speisen. Zweitens ist die Darstellung von feinkörnigem blickpunktabhängigem LOD selber eine rechenzeitintensive Aufgabe, die sich nicht gut mit der massiv parallelen Verarbeitung auf der GPU verträgt. Leider verschwendet konventionelles, nicht-blickpunktabhängiges LOD erhebliche Ressourcen. Daher möchten wir den Rechenzeit-Overhead für blickpunktabhängiges LOD senken. In diesem Projektantrag schlagen wir ein LOD-Darstellungssystem vor, dass auf durchgängig komprimierten Daten arbeitet und beide Probleme löst. Ein Frontend stellt die Szenendaten dar, während ein Backend asynchron neue Daten lädt. Das Frontend wird direkt auf der GPU mittels Mesh Shader implementiert und arbeitet auf Gruppen von Dreiecken, sogenannten Meshlets. Unser System entpackt die Geometriedaten direkt im Shader mit voller Parallelität, sodass die Geschwindigkeit des Gesamtsystems nicht nennenswert beeinträchtigt wird. Diese Eigenschaft ermöglicht die Implementierung eines Streaming-Systems, welches dasselbe komprimierte Datenformat im GPU-Speicher wie auch auf externen Speichermedien verwendet. Weiters gestattet unser System eine blickpunktabhängige LOD-Darstellung, die mit vernachlässigbarem Aufwand aus der komprimierten Darstellung abgeleitet wird. Indem Meshlets verschiedener Detailstufen nahtlos aneinanderpassen, müssen keine komplizierten Anpassungen der graphischen Objekte zur Laufzeit berechnet werden.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Österreich
• Partnerorganisation: Fonds zur Förderung der wissenschaftlichen Forschung (FWF)
• Kooperationspartner: Professor Dr. Markus Steinberger