Echtzeitfähige Raumakustik für interaktive und dynamische virtuelle Umgebungen
Final Report Abstract
In den ersten drei Jahren des Projektes wurden Methoden zur Reproduktion dreidimensionaler Schallquellen in Virtuellen Umgebungen entwickelt. Diese verwenden eine Binauralsynthese, um lokalisierbare Soundsignale zu erzeugen. Zur Wiedergabe wird statt eines Kopfhöreres oder eines Systems mit vielen Lautsprechern ein sogenannter „Virtueller Kopfhörer“ verwendet. Bei diesem werden für das linke und rechte Ohr separate Signale wie bei einem Kopfhörer reproduziert. Um zu verhindern, dass ein Ohr das Signal für das andere Ohr ebenfalls wahrnimmt, wird eine dynamische Übersprechkompensation verwendet, die mittels Kompensationssignalen eine Kanaltrennung zwischen den Ohren erreicht. In den drei Jahren der zweiten Projektphase wurde eine dynamische, interaktive Raumakustiksimulation entwickelt, um den virtuellen Schallquellen eine zusätzliche, physikalisch-basierte Raumcharakteristik zu verleihen. Hierzu wurden Verfahren zur Berechnung der frühen Reflektionen und des diffusen Nachhalls mittels Spiegelschallquellen und Raytracing entwickelt, die eine Berechnung in Echtzeit ermöglichen. Hierbei werden dynamische Hörer- und Quellpositionen miteinbezogen und interaktiv veränderbare Raumgeometrieeigenschaften ermöglicht. Die Raumakustiksimulation wurde mit einer interaktiven, multi-modalen VR-Applikation verknüpft. In dem hier berichteten dritten Jahr der zweiten Projektphase wurden die Arbeiten aus den ersten zwei Jahren fortgeführt. Die Haupttätigkeiten lagen hier im Bereich der System-Integration. Die geschaffenen Möglichkeiten zur Szene-Modifikation mussten von der Raumakustik-Simulation in die anderen Teile des Systems integriert werden. Hierzu mussten einige Komponenten des Systems, wie das Audio-Rendering (Echtzeit-Filterung), die Szene-Verwaltung, die Programmierschnittstellen und Netzwerk-Kommunikation, grundlegend restruktiert werden, um den erweiterten Anforderungen gerecht zu werden. Zur visuellen Darstellung der Ergebnisse der Raumakustiksimulation wurde eine interaktive Visualisierung entwickelt, die die Simulationsdaten in einer immersiven Virtuellen Umgebung anzeigen. Hierbei wurde eine Perspektive „von innen“ gewählt wurde, bei der der Beobachter in den zu visualisierenden Daten steht. Da dies jedoch zu verstärkten Verdeckungsproblemen führt, bei denen entfernte Datenpunkte durch näher liegende verdeckt werden, wurden Methoden zur interaktiven Selektion interessanter Regionen sowie zur Vermeidung von Verdeckung entwickelt. Dies ermöglicht es dann, die Daten in Originalgröße im simulierten Raum zu analysieren. Im Bereich der multimodalen Interaktion wurde eine Studie vorbereitet und durchgeführt, die die relativen Einflüsse von akustischem und haptischem Feedback vergleichen. Dafür wurde ein Szenario entworfen, in dem der Benutzer mit einem virtuellen Bohrer Material von einer Oberfläche abtragen muss, ohne dabei die eigentliche Oberfläche zu beschädigen. Neben dem stets aktiven visuellen Feedback gibt es drei kombinierbare Feedbackarten: haptisches Oberflächenfeedback, haptisches Vibrationsfeedback, sowie akustisches Feedback. Die letzten beiden Varianten wurden bewusst ähnlich modelliert, indem beide auf der Vibrationsfrequenz und -Amplitude des Bohrers basierten. Dies soll eine Vergleichbarkeit der Feedbackkanäle sicherstellen. Die Studie wurde mit 32 Probanden durchgeführt und wird derzeit ausgewertet.
Publications
- Integrating Real-Time Binaural Acoustic into VR-Applications; Eurographics Symposium on Virtual Enviroments, Grenoble, 2004
Ingo Assenmacher, Torsten Kuhlen, Tobias Lentz, Michael Vorländer
- Precise Near-to-Head Acoustics with Binaural Synthesis; Journal of Virtual Reality and Broadcasting (3:2), 2006
Tobias Lentz, Ingo Assenmacher, Michael Vorländer, Torsten Kuhlen
- Real-Time Processing of Image Sources Using Binary Space Partitioning; Journal of the Audio Engineering Society (54), 2006
Dirk Schröder, Tobias Lentz
- A True Spatial Sound System for CAVE-like Displays using Four Loudspeakers; International Conference on Virtual Reality, Peking, 2007
Torsten Kuhlen, Ingo Assenmacher, Tobias Lentz
- Binaural Technology for Virtual Reality ; RWTH Aachen University, 2007
Tobias Lentz
- Virtual Reality System with Integrated Sound Field Simulation and Reproduction; EURASIP Journal on Advances in Signal Processing (2007:1), 2007
Tobias Lentz, Dirk Schröder, Michael Vorländer, Ingo Assenmacher
- A Sketch-Based Interface for Architectural Modification in Virtual Environments; GI-Workshop für Virtuelle und Erweiterte Realität, Magdeburg, 2008
Dominik Rausch, Ingo Assenmacher
- Low Latency Technology for Interactive Virtual Environments; RWTH Aachen University, 2009
Ingo Assenmacher
- Real-time Auralization of Coupled Rooms; EAA Symposium on Auralization, Espoo, Finland, 2009
Frank Wefers, Dirk Schröder
- Real-Time Hybrid Simulation Method Including Edge Diffraction; EAA Symposium on Auralization, Espoo, Finland, 2009
Dirk Schröder, Alexander Pohl
- 3D Sketch Recognition for Interaction in Virtual Environments; VRIPHYS: Workshop on Virtual Reality Interactions and Physical Simulations, Kopenhagen, 2010
Dominik Rausch, Ingo Assenmacher, Torsten Kuhlen
- Interactive Acoustic Feedback into Virtual Acoustic Scenes; EAA Euroregio 2010, 1st European Congress on Sound and Vibration, Ljubljana, 2010
Frank Wefers, Michael Vorländer
- On Device Driver Architectures for Virtual Reality Toolkits; Presence - Teleoperators and Virtual Environments (19:2), 2010
Ingo Assenmacher, Dominik Rausch, Torsten Kuhlen
- Recording Natural Sound Sources and implementing them in Virtual Acoustic Scenes; Fortschritte der Akustik DAGA 2010, Berlin, 2010
Frank Wefers, Sönke Pelzer, Michael Vorländer
- Virtual Reality System at RWTH Aachen University ; International Symposium on Room Acoustics, Melbourne, 2010
Dirk Schröder, Frank Wefers, Sönke Pelzer, Dominik Rausch, Michael Vorländer, Torsten Kuhlen
- Open Measurements of Edge Diffraction from a Noise Barrier Scale Model; Building Acoustics (18), 2011
Dirk Schröder, U. P. Svensson, Michael Vorländer
- Physically Based Real-Time Auralization of Interactive Virtual Environments; RWTH Aachen University, 2011
Dirk Schröder
- RAVEN: A Real-time Framework for the Auralization of Interactive Virtual Environments; Proceedings of the Forum Acusticum, Aalborg, 2011
Dirk Schröder, Michael Vorländer
- Virtual Acoustics; Plenary lecture, 18th International Congress on Sound and Vibration (ICSV), Rio de Janeiro, 2011
Michael Vorländer
- Visualizing Acoustical Simulation Data in Immersive Virtual Environments; GI-Workshop für Virtuelle und Erweiterte Realität, Wedel, 2011
Sebastian Freitag, Dominik Rausch, Torsten Kuhlen
